最近一直在做WAMWorld Action Model这类模型的训练链路复盘前前后后翻了近300篇相关工作的论文、技术报告和开源代码再对照自己跑过的实验最大的感受是WAM模型的训练策略——数据、预训练与后训练这三块每个环节的决策都会剧烈影响最终效果而且很多决策点跟传统NLP模型、视觉模型的训练习惯并不完全一致。这篇文章就是想把我在调研和实操中沉淀下来的东西做个系统梳理聊清楚数据怎么配、预训练怎么续、后训练怎么对齐以及那些容易被忽略的细节。适合正在做世界模型、具身智能底座、多模态行动决策的同学参考。1. WAM 模型到底是什么为什么训练策略如此特殊1.1 WAM 的定位在感知、记忆与行动之间建立统一表示WAM也就是 World Action Model是一类试图把对世界的理解和采取行动的能力统一进同一个模型架构的工作。它跟传统的多模态大模型不同传统多模态模型主要做的是理解与生成输出停留在文本或图像WAM 则更强调闭环——模型不仅要看懂当前状态还要能基于内部世界模型预测状态变化并给出可执行的行动决策。这个定位决定了它的训练策略必须同时兼顾三件事感知能力的底座是否扎实、世界动态的预测是否准确、行动策略是否与真实环境对齐。任何一个环节掉链子模型的整体表现都会塌下去。比方说如果预训练阶段只堆了静态图片和文本数据模型对物体被推动后会怎么运动这类物理动态缺乏先验后训练阶段无论怎么做偏好优化都补不回来。1.2 为什么数据、预训练、后训练三者要放在一起讨论很多团队在训 WAM 模型时容易犯一个错误把数据、预训练、后训练拆成三个独立环节来优化。数据团队只管凑数据量预训练团队只管把loss训到收敛后训练团队只管做SFT和DPO最后拼在一起发现效果远低于预期。我调研下来发现做得好的工作几乎都是把三件事当成一个整体来设计的。数据配比会直接影响预训练阶段的收敛曲线预训练保留的知识结构会决定后训练阶段要用多大的学习率、多少条指令数据才能激活后训练阶段的评估结果又会反过来暴露数据层面哪个类别覆盖不足。这是一个闭环不是三条并行流水线。1.3 近300篇调研的几个代表性工作流派为了不让讨论太空泛我把调研到的工作粗略分成三个流派底座派直接把强大的预训练语言模型或视觉语言模型作为初始化重点做领域数据的继续预训练和任务适配参数量偏大。联合训练派从较早期的checkpoint开始用文本、图像、视频、动作轨迹联合训练强调多模态对齐和世界动态建模。环境交互派强调在仿真环境或真实环境中通过在线交互采集数据再用这些数据做持续的预训练和后训练类似具身智能领域的交互式学习。三个流派对数据的需求、预训练的比重、后训练的依赖都有明显差异。调研的一个核心发现是训练策略的选择比具体的模型结构改动对最终效果的影响更大。尤其是数据配比和后训练目标的设计往往是决定成败的隐藏变量。2. 数据策略被绝大多数工作低估的第一性因素2.1 数据来源互联网语料、视觉视频、行动轨迹如何配比我翻过的近300篇工作中几乎每一篇都强调数据质量比数据量重要但真正做了系统消融实验的没几个。数据来源这块WAM 模型通常需要三类数据文本语料提供常识、语义理解、指令跟随的基础能力常见来源是开源语料、书籍、百科、技术文档。视觉与视频数据提供空间结构、物体形态、运动规律的世界知识常见来源包括开源视频数据集比如 Kinetics、Something-Something以及自动采集的视频数据。行动轨迹数据提供动作与结果之间的因果关联通常来自仿真环境的交互日志、机器人操作记录、游戏回放、人工标注的动作序列。三种数据不是简单混在一起就能用。很多工作的做法是设定一个比例区间比如文本占 40% 到 60%视频占 20% 到 30%行动轨迹占 10% 到 20%再根据验证集表现微调。我自己的实验体会是行动轨迹数据的占比虽然不大但对模型最终能否动得起来至关重要——它在预训练阶段就像给模型提供了一根行为骨架。以开源的视觉语言数据集为例像 COCO 这类静态图片数据能提供丰富的物体识别和空间关系信息但模型很难从中学会动态变化。所以近几年的工作普遍引入视频数据甚至在预训练阶段直接使用视频帧预测作为辅助目标让模型隐式地学习物理规律。2.2 数据清洗、去重与隐私处理的实际操作数据清洗是调研中反复出现的高频话题。WAM 模型因为涉及行动决策对数据中的错误信息和有害信息格外敏感跟纯文本模型相比清洗标准要更严格。去重文本数据和视频帧都需要做近似去重不然模型会在重复模式上过拟合导致泛化能力下降。常用的手段包括MinHash文本去重、视频帧的感知哈希去重。质量过滤用规则或小模型打分过滤低质量样本。比如文本侧用困惑度过滤视觉侧用CLIP相似度打分行动轨迹侧则重点检查动作是否与状态描述一致。隐私处理轨迹数据很容易包含敏感信息比如室内场景中出现的人脸、屏幕上的个人信息、语音中的对话内容。这个环节不能省业内常规做法是检测并模糊敏感区域。数据清洗这块我想多说一句别迷信大模型自己会过滤噪声。我在实验中见过不少情况模型在干净子集上训练效果反而比全量数据更好。有一篇工作的做法很有意思他们先训一个小模型用它对候选数据进行置信度打分然后只保留中等置信度的样本——低置信度样本多为噪声高置信度样本则过于简单训练收益低。这个中间地带策略我后来在自己的数据集上复现过确实有效。2.3 数据配比的调参与课程学习数据配比不是一次定死的。调研中比较成熟的做法是采用课程学习的思路训练早期让模型多接触文本和静态视觉数据建立稳定的语义和视觉表征训练中期逐步加大视频数据的比例引入运动与变化信息训练后期集中投入行动轨迹数据引导模型把感知转化为决策。我在实际项目中也采用了类似策略。具体操作上先把全部数据按照上述顺序分成三个阶段的混合包每个阶段的步数占比按 5:3:2 来分配然后每隔一定步数评估一次下游任务表现根据评估结果动态调整下一阶段的配比。这套流程看起来朴素但比一股脑混在一起训到底要稳定得多。还要注意数据新鲜度问题。WAM 模型涉及行动而行动空间在不同场景下差异很大。如果训练数据过于集中在某类场景模型在场景迁移时会明显退化。调研中有一篇具身智能工作提到他们在数据中刻意混入了 5% 左右的跨场景数据哪怕这些数据标注质量稍差最终在未见过的环境中成功率提升了约 8%。这个比例不大作用却很明显属于典型的低投入高回报做法。3. 预训练阶段从零训练、继续预训练与多阶段训练的真实取舍3.1 底座模型怎么选开源预训练模型 vs 从零开始关于要不要从零开始训 WAM 模型调研结论比较一致绝大多数工作选择站在已有预训练模型的肩膀上而不是从随机初始化开始。原因很务实——从零训练需要的数据量和算力规模太大一般人根本扛不住。在有底座的前提下选型同样有讲究。纯文本任务为主的工作通常选择语言模型底座需要处理视觉输入的工作一般选择视觉语言模型或带视觉编码器的底座。以中文场景为例很多工作直接用中文 RoBERTa 或 ChatGLM 系列的权重初始化再用领域数据继续预训练视觉侧则常见以预训练 ResNet 或 ViT 作为视觉编码器例如此前检测模型训练中常用的 COCO 预训练权重做迁移时把这些权重加载进来比随机初始化收敛快得多。这里有一个容易踩坑的点底座的预训练数据分布与 WAM 目标数据分布差异过大时继续预训练的效果会大打折扣。我见过有人直接把一个纯文本底座拿去做行动决策模型对视觉输入完全没有对齐基础后面补再多的图文对齐数据都费劲。建议先做一个小规模的领域适配预训练让底座先见到目标领域的数据分布再进入正式的预训练阶段。3.2 预训练目标设计不只是下一个词预测WAM 模型的预训练目标跟普通语言模型差异明显。除了常见的文本自回归损失调研中的工作通常还会加入几类辅助目标视觉-语言对比学习拉近图像与对应文本描述的表征距离保证模型对视觉信号有基本的感知能力。视频帧预测给定前几帧预测下一帧的隐层表示或离散特征让模型隐式学习运动和物理规律。动作-状态一致性建模在轨迹数据上预测当前状态下的合理动作或者给定动作预测下一状态建立状态转移的因果模型。这些辅助目标的配比需要谨慎。辅助目标过多会稀释文本理解的信号导致模型语言能力退化太少则无法形成有效的行为先验。我的经验是辅助目标的总loss占比控制在 20% 到 30% 之间比较合理具体数值要通过消融实验确定。另一个关键点是分阶段预训练。有些工作把预训练分成通用对齐阶段和任务适应阶段先在大规模通用数据上做对齐再用中低质量但覆盖面广的任务数据做适应。这样做的好处是模型先建立通用能力再接触任务数据时不容易出现灾难性遗忘。3.3 预训练稳定性的实际问题损失震荡、灾难性遗忘与学习率预训练阶段最常见的问题是损失震荡和灾难性遗忘。损失震荡大多出在多模态数据混合训练时。文本数据与视频数据的收敛速度不一致视频帧预测任务往往收敛得慢拖累整体loss表现为训练曲线在某个阶段反复波动。我试过比较有效的做法是把视频数据的采样权重做课程式提升——起初占比很小随着训练步数增加逐步调高给模型一个适应的时间窗口。灾难性遗忘则发生在从一个阶段切到另一个阶段时。尤其从通用数据阶段切换到任务数据阶段模型对通用任务的表现往往会明显下滑。调研中的主流对策是在新阶段的数据中加入一定比例的旧阶段数据比例通常设在 10% 到 20% 之间类似经验重放。另一个实用技巧是把旧阶段数据做成固定的小批量比如每个batch固定混入8条通用样本比单独按比例采样更稳定。学习率策略方面WAM 模型的预训练普遍采用先warmup再余弦衰减的调度这一点跟大部分大模型训练一致。但有一个细节值得注意warmup步数不宜过长我调研到的工作中多数把warmup控制在总步数的 1% 到 2%过长的warmup反而会让辅助目标loss占主导导致主任务收敛变慢。4. 后训练阶段从 SFT 到偏好优化的闭环搭建4.1 指令数据的构建数量重要但分布更重要后训练的第一步通常是有监督微调SFT。很多团队把SFT理解成拿一堆指令让他跟着学于是在数据构建上只追求数量这是后训练阶段最大的误区。调研中的优质工作在构建SFT数据时重点控制的是分布而不是绝对数量任务分布覆盖的决策任务要广包括目标导航、物体操作、多步推理、指令跟随等避免模型只擅长某一类任务。难度分布简单、中等、困难样本的比例要有梯度。全是简单样本模型学不到长程推理和纠错能力全是困难样本训练不稳定且收敛慢。格式分布单轮指令、多轮对话、带视觉上下文的任务描述比例要与真实使用场景匹配。SFT数据的质量要求也比很多人想象的高。指令里哪怕存在少量错误标注比如物体位置标错模型也会很快学到这些错误模式。我自己的粗估是对于100万量级的SFT数据引入 1% 的错误标注模型在相关能力维度上的表现会下降 3% 到 5%。所以SFT数据的清洗和人工抽检环节绝不能省。4.2 偏好优化DPO 与 RLHF 的实际选择SFT之后进入偏好对齐阶段。这个环节的目的是让模型不只是能做还要知道什么行为更好。调研中主流方案有两种RLHF 和 DPO近两年 DPO 及其变体由于训练成本低、过程稳定使用比例明显上升。RLHF 的四件套训练奖励模型、采样策略响应、用 PPO 优化策略、定期打回复合集。它的好处是可控性强可以通过奖励模型精细调整行为偏好但工程负担重PPO 的不稳定性也让很多人头疼。DPO 则不同它直接利用偏好对数据优化策略不需要独立训练奖励模型也不需要在线采样训练过程稳定得多。我实测下来DPO 在 WAM 行动决策任务上的表现跟 RLHF 接近但对偏好对数据的质量更敏感——如果偏好对里更好与更差的差异不明显DPO 学到的偏好信号会非常微弱。偏好对数据怎么构造这里有一个重要经验不要只拿模型自己采样的结果做偏好对那样容易陷入模型的既有偏好。更好的做法是混合多种来源——人工演示、行为克隆策略的采样结果、环境交互中成功率高的轨迹与失败轨迹组成偏好对。数据来源越多样对齐出的行为越稳健。4.3 后训练评估的回归陷阱与多任务平衡后训练阶段最容易出现的问题是评估集回归。团队花了大量精力做SFT和偏好对齐模型在目标评估集上的分数涨了但一放到开放场景里表现反而下降。这就是典型的评估分布过窄导致的过拟合。我的建议是做三层评估体系第一层核心任务集跟业务目标最相关的几个任务指标直接反映项目KPI。第二层能力保持集检查模型在预训练阶段保留下来的通用能力是否退化比如常识问答、物体识别、指令跟随。第三层探索集随机采样一些训练分布之外的场景人工评估模型行为是否合理用来发现系统性偏差。多任务平衡方面不同任务的SFT数据量不应该平均分配。一个常规策略是按任务重要性加权核心任务给足数据量辅助任务保证基本覆盖。调研中有不少工作采用最低采样量 重要性重采样的方案每个任务至少保留一定数量的样本超过阈值的任务按照重要性的幂次进行降采样防止高频任务主导训练。5. 训练参数与资源分配那些容易被忽略的隐性成本5.1 超参数配置学习率、Batch Size 与梯度累积的实测经验后训练阶段的学习率与预训练阶段差异很大很多翻车现场都是因为用了一套学习率打天下。预训练阶段学习率通常在 1e-4 到 3e-4 区间SFT阶段要降到 1e-5 到 3e-5偏好优化阶段则更低一般在 1e-6 到 1e-5 之间。原因不难理解预训练阶段要大幅改动参数后训练阶段只需要在原基础上微调行为偏好学习率过大会把预训练学到的好结构冲掉。Batch size 的选择上除了要看显存和吞吐还要考虑数据分布。多模态混合数据的情况下batch size 太小会让每个batch内各模态样本数量波动太大影响训练稳定性经验值是把batch size设到能让每个batch至少包含 8 到 16 条视频数据这样辅助损失计算得才稳定。梯度累积是解决显存不足的常规手段但有一个值得注意的细节累积步数不宜超过 8 步否则参数更新间隔过长等效学习率会被人为放大需要同步调低学习率作为补偿。很多人在 16 步累积时不调学习率结果训练曲线奇怪地一路飙升就是这个原因。5.2 训练工程中的性能瓶颈数据加载与存储训练资源的浪费往往不在GPU计算本身而卡在数据读取和预处理。WAM 模型的数据链路比较重视频数据要抽帧、图片要缩放、轨迹数据要解析如果数据加载线程跟不上GPU的消费速度GPU利用率只能干瞪眼掉下去。调研里跑得好的工作数据管线都做得比较精细。我自己的做法是把预处理后的样本先落盘成高效的二进制格式比如TFRecord或WebDataset避免训练时反复做解码和增强。数据增强也要分阶段考虑预训练阶段可以做强增强随机裁剪、颜色扰动、时序抖动SFT阶段则建议减弱增强强度因为指令数据对语义精确性要求高。还有一个容易被忽视的点训练日志和评估结果的存储管理。训练一个WAM模型动辄数周中间会产出大量checkpoint、评估指标、日志数据。我见过团队因为日志数据存储混乱事后根本无法回溯哪个超参数组合产生了哪个结果等于白跑了一轮实验。建议从一开始就用规范的本地文件或数据库把指标、配置、数据版本一一关联起来这些数据的备份与恢复策略也要提前想好不然一次磁盘故障就前功尽弃。6. 近300篇调研的共性规律与我的实操建议6.1 高质量工作与低质量工作的分水岭在哪里看完近300篇工作我越来越觉得高质量与低质量的分水岭不是模型结构多先进也不是参数量多大而是三件事做没做到位数据层面的系统消融有没有做数据配比、清洗策略的对比实验还是直接拍脑袋上全量数据。预训练与后训练的分工边界有没有明确哪些能力靠预训练获得哪些行为靠后训练对齐边界清晰的工作往往翻车更少。评估的完整程度有没有做能力保持和探索性评估还是只盯着一个测试集刷分。这几个特征跟论文的发表档次没有必然关系有些技术报告虽然篇幅短但在这三点上做得很扎实反而参考价值更高。6.2 我自己踩过的三个坑第一个坑是在数据配比上盲调。早期我凭感觉把行动轨迹数据的比例调高到 30%以为决策任务当然要多给行动数据结果预训练loss迟迟不降下游任务分数反而下降。后来才意识到行动轨迹数据的高频模式会掩盖文本和视觉数据的多样性导致模型过拟合到行为模式上缺乏世界知识支撑。正确做法是先保证文本和视觉表征足够丰富再逐步引入行动数据。第二个坑是后训练阶段用同一个SFT数据集反复迭代。第一轮SFT效果不错到第二轮、第三轮时指标提升越来越小甚至出现能力倒退。后来参考调研中的做法每一轮SFT都会重新构造数据——上一轮模型表现不好的样本加重采样权重表现好的样本适度降权实现数据的滚动升级。第三个坑是过度信任公开数据集的标注质量。像 DOTA、HRSC2016、CrowdHuman 这类视觉数据集标注误差并不少见。我一开始直接用原始标注做训练模型在某些类别的表现总是忽高忽低排查了半天才发现是标注边界不统一。后来加了严格的标注抽检和边界修正步骤问题才缓解。这个教训让我后来在引入任何公开数据集之前都会先做一轮标注质量抽检绝不默认公开的就是干净的。6.3 给正在做WAM训练的同学的清单式建议基于这次调研如果要我给一个刚起步的团队三条最核心的建议我会说数据先行小规模预验证后再放大。先在小规模数据上把清洗规则、配比方案、课程策略跑通再上大规模训练省下的算力成本远超前期那点验证时间。预训练要够用即可后训练才是提分关键。除非你在做全新的训练范式否则不要在预训练阶段无限堆算力大部分实际问题靠精心设计的数据和后训练就能解决。评估体系要从第一天就搭好。不仅仅是任务指标还要有通用能力保持集和探索性评估集否则你根本不知道模型什么时候悄悄变笨了。关于WAM训练策略的这轮调研我最终悟到一个道理模型的上限由数据和预训练决定但能不能把上限变成实际可用的效果基本由后训练的质量决定。这中间的每一环都值得像做实验一样认真对待。最后再分享一个小技巧每次调整训练策略时只改一个变量并且把改前与改后的完整评估结果记录下来。坚持一个月你手里积累的对比数据会比任何论文附录都有价值。