简介阿里研究院发布的大模型训练数据白皮书面向大模型研究者、数据治理从业者与人工智能产业决策者系统梳理训练数据领域的关键议题。白皮书从数据之于大模型发展的基础作用切入详细解读语言与多模态模型所需的数据类型澄清大模型训练不依赖用户个人信息、中文语料短缺并非制约因素等常见误解进而探讨高质量数据的标准、合成数据作为供给不足的新方案以及中美训练数据生态差异与治理路径最后结合阿里巴巴的探索实践提出开放务实的数据供给建议。全册仅含一个 PDF 文件大小约十一点九三 MB适合在线查阅、离线保存或团队传阅研读。目前已有三百二十三人学习下载内容兼具宏观视野与落地视角尤其适合关注数据合规与高质量语料建设的技术团队参考。1. 大模型训练数据白皮书为什么我读了三遍才把它当工具书这份《大模型训练数据白皮书》我前后读了三遍第一遍当作行业报告翻完第二遍意识到里面几个反直觉结论直接影响数据怎么做第三遍才把它定义为工具书。它的核心观点很直接——大模型的训练数据不是越多越好高质量数据标准无法被前置定义合成数据正在成为缓解真实数据供给不足的可行方案。围绕这条主线白皮书把语言模型训练的三阶段数据诉求、多模态数据形态、质量评估维度、合成数据链路和治理思考全部串了起来。适合算法工程师、语料清洗团队、行业大模型交付方三类人带着具体问题去查而不是通读一遍就放下。2. 训练数据需求拆解预训练、SFT、RLHF三阶段的数据选型差异经常有同学问大模型训练到底需要什么数据这个问题如果只回答“文本、图片、视频”等于没答。白皮书把需求拆到了训练阶段级别预训练、监督微调SFT、基于人类反馈的强化学习RLHF三个阶段对数据的诉求是分层且完全不同的混着用往往两头都做不好。2.1 预训练语料求“广”对齐语料求“齐”行业语料求“专”预训练阶段是模型构建世界知识的过程语料覆盖网页、书籍、论文期刊、对话文本、代码等形式。这一阶段的核心诉求是一个“广”字。模型需要从海量内容里学会客观世界的统计规律语料太少或太偏基础能力就有明显短板。我在做某跨平台系统的底座模型时预训练语料的覆盖面直接决定了下游任务的基线后期 SFT 只能在小范围内修正弥补不了结构性缺失。SFT 阶段则完全是另一回事。标注人员设计问答、编写标准答案让模型在没有见过的任务上“举一反三”。RLHF 阶段更进一步让人对模型回答打分、排序教模型“怎么说更好”。这两个阶段合称对齐数据特征是“齐”——要求来自人类的高质量反馈质量门槛远高于预训练语料。常见做法是几百上千条精心设计的问答对就能带来显著的对齐效果而不是像预训练那样动辄几个 TB。如果要把模型部署到具体行业比如工业、金融、医疗还需要“专”的语料行业数据库、专业文档、专业网站。这类语料的特点是带专业深度往往需要领域专家参与清洗和标注。我一般会给团队定一张三层选型表从源头把三阶段数据分开管理训练阶段语料类型核心特征规模参考预训练网页、书籍、代码、论文广数十GB到数TBSFT人工设计问答对、专家标注齐千级到十万级条数RLHF人类打分、排序反馈齐与SFT同量级或更高行业微调行业数据库、专业文档专视场景而定重质量这张表的好处是把数据诉求从“不知道要什么”变成“按阶段对号入座”。注意这里有个容易踩的误区很多人把 SFT 数据做得像预训练数据一样大而全结果模型学到的不是“怎么回答好”而是“回答的统计分布”对齐效果反而变差。2.2 多模态模型图像-文本对和视频-文本对的标注要求完全不同白皮书单列了一节讲多模态训练数据这部分在实操中往往被理解得太简单。多模态模型需要的是图像-文本对和视频-文本对。图像-文本对是一张图片配一段描述文本让模型学会像素和文字之间的关联视频-文本对则是一个短片段配一段描述事件过程的文本模型不仅要理解单帧画面还要理解时间序列和动态变化。这意味着多模态数据的标注成本是分层的。图像类标注相对成熟难点在文本描述的粒度是描述物体、场景还是描述物体之间的关系。视频类标注则要处理时序标注描述必须覆盖“先发生了什么、后发生了什么”。我在某图像处理Demo里做过一次小规模视频语料标注同样的素材按单帧描述和质量事件流描述两种方式标出来的效果差别很大前者训练出的模型对动态场景的理解明显偏弱。如果资源有限宁可减少视频条数也要保证每条描述包含明确的时间顺序信息。2.3 两个最容易被误判的数据问题个人信息依赖与中文语料短缺白皮书里有两段对行业误解的纠偏对做数据选型的人特别关键。第一大模型训练并不依赖用户个人信息。这和传统决策式 AI搜索、推荐完全不同后者大量依赖用户行为数据和画像数据。大模型是生成式的训练数据以世界知识为主对语料库等知识性内容的需求远大于用户个性化信息甚至过量的个人数据反而会拉低模型能力过于个性化的应用还会增加运算负担。我在业务侧被反复问过“是不是可以用用户聊天记录训练行业模型”白皮书里的分析可以当标准话术用训练阶段不依赖个人信息真正缺的是专业化的高质量知识语料。但要留意推理阶段如果用户恶意诱导模型安全机制做不到完全兜底这和训练阶段的依赖性是两回事别混为一谈。第二中文语料短缺不是制约大模型发展的关键因素。从全球网站的语言占比看英文语料占约六成中文占比很低看起来差距很大但实践中规模不是决定性因素。客观事实类的知识中英文表达的原理一致机器翻译质量有保障的情况下可以补足。训练技术上通过合理安排语言训练顺序也能让模型学好低频语言。真正短缺且无法靠翻译弥补的是本土价值观类语料——这一点白皮书判断得很清楚大模型本质是概率模型语料来源的分布会把对应的人类意志传导给模型。古籍、主流媒体内容这类反映本土文化语境的语料才是短板加之数字化率不高、开放共享机制还在建设期短期很难补齐。这个结论对我最直接的改变是选中文语料时不再盲目堆量而是优先评估语料的价值观分布和文化属性把“有没有反映中文语境下的价值取向”当作一条筛选规则写进管线。3. 高质量数据评估三重不确定性与质量、规模、多样性的实操组合关于高质量数据白皮书给出了一个反直觉的判断高质量标准无法被一套前置定义锁死。这直接否定了“做个打分模型筛一遍”的简单思路。我见过太多团队花大力气做“高质量数据筛选器”最后发现标准一变筛选器就得推倒重来。理解为什么要从三重不确定性说起。3.1 为什么“高质量”无法被一套标准前置定义第一重不确定性来自语料类型。模型能力需求是随任务演进的。早期对话模型把对话文本当最高质量数据后来发现通用上下文理解更重要书籍和科研论文成了重点再往后推理能力变成核心指标代码数据大量条件控制信息和教材详细推理链又被抬高。行业模型更是如此——广告场景需要视觉相似性图片对自动驾驶需要驾驶员应对稀有事件的接管数据。类型本身是个移动靶前置定义等于刻舟求剑。第二重不确定性来自语料形态。高质量数据的形态会随技术增强而变化。自动驾驶领域通过仿真数据生成更多样的物理世界视角弥补真实世界稀有事件观测不足长上下文能力增强后代码数据从单一任务文件升级到仓库级教材从中小学级别知识拓展到大学难度。同样的数据随着模型能力变化可用性和价值完全不一样。第三重不确定性来自数据搭配。不同来源数据的配比数据混合和训练顺序数据课程直接影响模型在下游任务的表现。白皮书举的例子很有说服力有研究者从问答社区和论坛里精选高赞语料配合手工整理的问答对凑出总计约千条的高质量微调数据以“少而精”拿到了很好的对齐效果。关键不在单条数据的“高质量”而在组合方式。这三重不确定性叠加结论就是所谓高质量更多是主观判断因模型发展阶段而动、因技术人员的理解而异、因训练效果而定。做数据的人如果不接受这一点很容易把时间花在定义一个注定过时的标准上。3.2 同类数据评估质量、规模、多样性三把尺子怎么用同类语料的评估白皮书落到质量、规模、多样性三个维度。质量上信息有没有经过筛选是主要判断线索。来源可靠的内容通常已经被专业标准过滤过论文期刊经过同行评审百科类内容经过编辑群体维护优质论坛内容经过点赞机制筛选专业图库有设计师对构图、艺术性、美观性的标注。这些“来源即质量”的规则工程上可以直接写成白名单/黑名单配置。来源判断不了的数据就用评估模型打分。常见做法是先从语料里抽一小部分人工标注可读性、帮助性、安全性再拿这部分标注训练评估模型最后用模型给全量语料打分。这是把人工标准机器化的标准路径。我一般会把人工标注量控制在千条量级覆盖各类来源避免评估模型学到单一来源的偏好。规模维度要特别小心“越大越好”的直觉。白皮书举了一个很说明问题的对比一个公共网页抓取数据集有数百TB未经过清洗清洗后的子集只有其约千分之一大小。实测下来用清洗后的小数据集训练的模型性能反而更好。这直接说明不是语料规模越大越好而是高信息密度的语料规模越大越好。我的经验是预处理脏数据的成本永远值得花在前端带着重复和噪声硬吃规模训练成本上去效果反而下来。多样性维度容易被忽略。从网络采集的信息对弱势群体存在代表性不平衡可能加剧偏见。另外真实世界的潜在隐患是偶发事件对“不良信息”一味删除反而不利于安全能力建设打上安全标签让模型学习识别比单纯删掉更有效。这个思路我实际用过在做内容安全模型时保留并标注违规样例让模型学会“识别风险”而不是“没见过风险”安全指标提升明显。3.3 数据混合与数据课程两个被低估的调参维度数据混合解决“按什么比例放一起”。不同来源数据对能力提升的侧重不同配比变了泛化能力和下游任务表现都会变。实践中一般两种策略一是增加来源多样性这对下游任务能力提升很关键二是按目标任务筛选有积极贡献的数据。这个环节很玄学多数团队没有精力做全参数搜索我的经验是先按来源类别定几个粗配比用验证集损失和少量人工评测做快速对比收敛后再细调。数据课程解决“按什么顺序学”。从基础技能到目标技能组织预训练语料比直接上一个聚焦目标技能的语料库更有效。通用和简单的例子先上逐步引入专业化或复杂度高的语料。这个顺序在不少开源训练配置里是隐式存在的改一下顺序同样的数据量能拿到不同的效果。白皮书把这两个维度单独拎出来讲说明数据工程的重点已经从“挑数据”转向“调度数据”观念上要跟着转。提示如果你当前跑一次全量预训练实验要按周计务必在正式训练前先做小规模的数据配比敏感性测试用 1% 的数据量验证配比方向能省下大量重训成本。4. 合成数据落地一条缓解训练数据供给不足的完整链路白皮书花最大篇幅讲的是合成数据而且给出了非常明确的技术判断如果掌握合成数据技术对齐成本可能降低好几个数量级。这个判断值得每个做数据的人认真对待因为真实数据的供给边界已经肉眼可见。书籍、论文这类高质量文本语料按现有消耗速度耗尽只是时间问题。4.1 什么情况下必须用合成数据三个启动信号第一个信号是真实世界难以观测。罕见病、极端天气、自动驾驶的边界路况Corner Case真实采集成本极高、样本稀缺。合成数据可以设计比真实数据集更广泛的场景提升训练集的全面性和多样性让模型处理边缘案例时也有良好表现。第二个信号是数据获取成本太高。对齐阶段需要人类大量高质量反馈人工标注贵且慢。合成数据可以对齐流程自动化几乎不需人类标注大幅节省成本提高获取效率。第三个信号是隐私保护约束。医疗、金融等领域的数据涉及敏感信息合成数据通过差分隐私加噪声等方法模拟真实数据集的分布而不复刻其中的真实个人记录实现去标识化。我判断是否上合成数据的标准很简单真实数据拿不到、拿得慢、拿得贵三个条件命中一个就值得评估合成方案。4.2 合成数据的生成方法与分类生成方法分两大类。第一类基于真实数据集构建先建立模型捕获真实数据的分布特性和结构特征刻画数据中的多变量关系和相互作用再从该模型中抽样生成合成数据。对话大模型本质上就是这么干的——学习了海量人类文本后按统计概率组合生成新文本。第二类不直接依赖真实数据通过现有模型或人类专业知识创建。文生视频模型里大量使用了游戏引擎合成的视频数据作为训练集用模拟器生成的多模态场景数据也广泛应用于具身智能、自动驾驶、AI for Science 等场景。按服务对象分类生成式 AI 训练常用媒体合成数据视频、图像、声音和文本合成数据判别式 AI 训练分类、回归常用表格合成数据类似真实生活中数据记录或表格的合成数据。这个分类直接决定数据管线的形态文本和表格可以用生成模型批量产出媒体数据往往需要模拟器配合渲染管线。做工程的同学先对号入座别把表格数据的合成方法直接套到视频生成上。4.3 合成数据在预训练和对齐阶段的两个高价值方向在预训练阶段合成数据有两个值得关注的方向。一个是多模态数据生成。文生视频、文生图模型已经用游戏引擎合成的视频做训练集模拟器生成的多模态场景数据能有效“过采样”罕见事件确保模型对广泛的输入保持鲁棒性。随着大模型走向通用从声音、图片、视频中学习会越来越多多模态合成数据的需求还会持续增加。另一个是领域知识生成。这是我觉得最实用的部分。核心思路是对现有数据深加工把之前不能用于训练的数据转化为可用。拿工业制造举例三步走第一步把非自然语言描述的操作行为和时序数据转成结构化操作记录Data 到 Information第二步把多条结构化信息结合行业知识图谱和专家经验提炼成有价值的知识Information 到 Knowledge比如“在什么温度下应该如何操作、好处是什么”第三步用大模型推理能力把相对单一的知识泛化拓展积累更丰富的行业语料。这本质上是打通了数据从原始数据到信息到知识的利用链路所谓合成数据拓展数据利用可能性的说法落在这里才看得见摸得着。在对齐阶段合成数据的作用更直接提升对齐语料获取效率。常见做法是 RLAIF——从人工智能反馈中进行强化学习用一个大模型产出合成数据生成指令及输入输出样本过滤无效或重复信息自动化微调出性能不错的小模型全程几乎无需人类标注。某高校团队发布的 70 亿参数对话模型就是这么训练出来的。更进阶的思路还有自我对局第 t1 代模型尝试区分第 t 代模型输出和真人输出得到了比 RLHF 更好的效果。还有宪法式 AI 思路让模型在预设原则下用自身生成的反馈做自我改进既能生成无害内容又不回避有害问题。另外有个细节值得单独说人类和 AI 反馈结合RLHAIF时AI 生成的批评能帮人类发现可能错过的缺陷提升评估准确性。这说明合成数据的价值不只是替代人工还有辅助人工这一层。工程上可以先把 AI 评估模型当“初审”人工只处理争议样本效率能高很多。虽然合成数据潜力很大白皮书也没有回避它的风险生成过程存在偏差或噪声时合成数据的保真度存疑无法完全模拟客观世界。如果陷入“大模型自己生成数据、自己训练自己”的循环初始偏差会被不断放大。所以合成数据要当“替身演员”用——补充和替代真实数据而不是彻底取代真实数据的采集与标注。5. 数据工程落地排查五处容易翻车的操作与修正以下五条全部来自实际做数据管线时的踩坑记录每条按“现象→原因→解决”的顺序讲专治看起来没问题、跑起来就出幺蛾子的场景。5.1 堆规模数据集越拼越大模型反而掉点现象预训练时不断往里加网页抓取数据从 200GB 加到 1TB困惑度不降反升下游任务的稳定性也变差。原因没有做整体清洗和去重。海量未过滤的网页数据里重复内容会让模型对特定示例产生偏见噪声数据直接污染概率分布规模越大数据越脏模型能力劣化越明显。解决先做标准清洗链路再去谈规模。去重、删除个信、纠正错误、填补缺失值是底线操作。参考第 3 章那个对比数百 TB 的原始抓取数据集清洗后只剩约三百分之一的规模训练效果反而更好。从那以后我每次扩数据都强制先把新增数据过一遍清洗四件套再合入。5.2 合成数据直接灌入训练不设防现象用大模型生成了一批指令数据微调后模型输出重复、套话多甚至出现事实性错误被逐代放大。原因合成数据天然有偏差和噪声生成过程的偏差会被模型继承。如果形成“大模型生成数据→训练新模型→再生成数据”的闭环初始偏差会不断累积最终模型失控这就是白皮书点名的循环风险。解决合成数据必须设过滤闸门。常见做法是先生成再过滤去重、质量打分、事实核查然后与真实数据按比例混合不要 100% 用合成数据训练。还要做分布校准确保合成样本的统计特征接近目标分布。RLAIF 场景这条尤其重要过滤环节省不得。5.3 迷信“高质量标准”前置筛选现象团队花三个月定义了一套高质量语料标准训练效果没有明显提升标准本身还频繁变动数据管线反复返工。原因高质量类型、形态、搭配都有不确定性前置定义的标准只能覆盖一个时间切片。模型能力需求一变旧标准就失效。白皮书的原话是所谓“高质量标准”的制定至多只是对同类型数据在质量维度提供一种参考对模型训练的价值有限。解决把“高质量标准”当参考而不是闸门。聚焦当前阶段的目标能力定义最小必要规则来源白名单、基础清洗规则更多依赖训练效果反馈来反向调整。我现在的做法是每轮实验记录各数据源对指标的贡献度用结果修正筛选规则而不是一次性定死。5.4 忽略数据配比和课程顺序现象同样的数据集别人训练出来效果好自己复现就拉垮一度以为代码有 bug查了半天发现是数据顺序和配比不同。原因数据混合配比和训练顺序数据课程不同模型能力差异很大。直接从聚焦目标技能的语料库开练不如从基础技能逐步过渡到目标技能更有效。配比失衡也会让模型过度偏向某类来源的样本分布。解决训练跑通后不要立刻宣布胜利先做数据配比敏感性分析固定其他变量单独调整某类数据占比观察验证集指标变化。课程顺序同理通用语料先上、专业语料后上记录每个 checkpoint 的表现反向调整顺序。投入产出比最高的做法是在小规模实验上把这两个维度调稳再放大到全量。5.5 数据版权和合规约束留到最后处理现象模型训练完准备上线审查发现训练数据里有大量未经授权的抓取内容、受版权保护的书籍导致返工甚至延期。原因数据合规没有进入数据管线前端。传统做法是“先训练、后补合规”训练数据的海量规模让事后追溯成本极高逐条排查基本不可能。解决在数据采集环节就分级标注来源和使用权限训练前先跑合规过滤优先用公共数据集、经授权的内容以及合成数据替代高风险来源。白皮书在治理章节的结论也指向同一方向数据治理体系要顺应模型和技术的发展为技术演进预留空间而不是等模型做出来再补制度设计。从生态层面看公共数据开放、行业数据共享、企业探索需要形成合力单靠任何一方都撑不起高质量训练数据的供给。6. 白皮书之外一个低成本的数据质量三查套路读白皮书最大的收获不是结论而是验证思路。落回工程我常用一个三查套路不需要额外标注成本跑一遍就能给数据质量快速画像。三查分别是重复率检查、困惑度抽检、来源分布占比。对准备进入预训练或 SFT 的语料按顺序跑完这三步质量问题大致能暴露七成。下面是我常用的检查脚本骨架Python 3 可直接改跑import random from collections import Counter # 1. 重复率检查抽样 N 条计算 n-gram 重合比例 def dedup_ratio(samples, n8): total, dup 0, 0 seen set() for s in samples: grams {s[i:in] for i in range(len(s) - n)} total len(grams) dup len(grams seen) seen | grams return dup / max(total, 1) # 2. 困惑度抽检用小规模语言模型打分重点看长尾高分样本 def ppl_spot_check(samples, model, batch64): # 加载一个小型语言模型逐批计算困惑度 # 困惑度明显高于同源均值的样本单独导出待审 pass # 3. 来源分布按域名/来源统计占比看是否过度集中 def source_distribution(meta_list): counter Counter(m[source] for m in meta_list) total sum(counter.values()) return {k: v / total for k, v in counter.items() if v / total 0.05}参数上n-gram 里的 n 取 6-10 比较稳太小会把正常表达识别成重复太大漏掉长片段重复。抽检样本量至少 1000 条置信度才够样本太少看不出长尾问题。困惑度抽检用一个小型语言模型即可不需要加载大模型重点看高分段外的异常样本它们往往是格式错乱或语义断裂的数据。来源分布集中度超过单来源 30% 就要警惕一般意味着数据多样性不足模型容易被某个站点的写作风格带偏。这套三查我有血泪教训最早做数据清洗时只看了总量和格式上线后模型在特定话题上疯狂复读一查是某来源的重复文本占了四成。从那以后我每次合入新数据都强制走一遍三查先画像、再清洗、后合入翻车次数明显少了。如果你也在搭数据管线这份白皮书值得下载一份按这几章逐一对标你手头的数据选型和清洗流程多数坑可以提前避开。希望帮到你。本文还有配套的精品资源点击获取