跳到正文

博客

AI 资讯、算法拆解和上手教程。一共 276 篇，新写的在最上面。

筛选结果

#ai算法清除筛选
  1. 2026/08/29AI算法与模型约 6 分钟

    LLM 预训练数据处理流水线

    大模型训练前，原始数据要经过一整套处理才能"喂"给模型：从网页抓取、正文提取、语言识别，到质量过滤、去重、内容安全审查、版权核对，再到数据配比、分词器训练和序列打包，每一步都会影响最终模型的能力和行为。本文系统梳理这十个关键环节，讲清楚每一步在做什么、为什么必须做、工业界都有哪些常见方法，帮你理解一个大模型真正是"吃"什么样的数据长大的。