上个月我在调一套基于可验证奖励的强化学习RLVR训练流程目标很单纯让一个 7B 规模的底座模型在数学推理任务上把正确率从 62% 提到 75% 附近。训练跑了两天loss 曲线很漂亮评测分数却纹丝不动。我把训练日志翻出来逐条看发现所有 rollout 其实早就分成了两拨一拨根本没能走到验证器面前另一拨虽然走到验证器面前验证器给出的分数却和真实解题能力完全脱节。这两拨样本有个共同点——它们都让学习信号在某个环节悄悄漏掉了。这篇文章就把这两种典型的“死法”拆开讲清楚然后给出我在实验里验证过的补救方法。1. Rollout 在 RLVR 里的真实角色一条轨迹到底能贡献什么信号先说清楚一件事在 RLVR 里一条 rollout 不是“一次采样”它是整条训练流水线的唯一证据来源。策略网络变好还是变坏全靠这些轨迹告诉你的信号。所谓可验证奖励说的是不用训练一个 reward model而是用外部规则或程序判断模型输出是否正确数学题的最终答案是否与标准答案等价、代码是否通过单元测试、格式串是否符合约定。因为奖励来自确定规则天然可复现、可审计不容易被主观偏好带偏这是它相比传统 RLHF 的最大优势。1.1 一条 rollout 的信号链有五个环节从采样到梯度更新一条 rollout 要经过五步生成、解析、验证、赋分、反传。每一步都可能成为信号漏掉的点。生成阶段决定输出内容的边界包括长度、是否提前结束、是否跑出合法结构。解析阶段决定验证器到底能读到什么一个answer标签没闭合、一个最终答案被“备注”字段带走解析器很可能把真正有意义的判定依据丢掉。验证阶段决定分数怎么给是严格字符串匹配还是符号等价、容差比较、多角度判据。赋分阶段决定这条 rollout 的优势怎么算进 GAE 或 group baseline。反传阶段才真正把信号变成梯度。一段训练代码里我们通常只盯着 loss 和 reward mean 两个数字。但这五步中任何一步断掉模型感受到的就是“没有信号”或“错误信号”。一个看似正常的 run很可能因为解析正则太紧或者验证器太死板把 30% 的有效输出全都判成无效然后模型就会慢慢学着去“取悦”解析器和验证器而不是去解题。1.2 信号完整的三个条件我后来把问题归纳成三条硬性条件缺一不可。第一条是存活rollout 必须在有限长度内被完整生成并包含可解析的最终答案。如果模型想节省 token 直接输出eos结束或者反复重复同一句话直到撞上 max_tokens这条轨迹连“被验证”的资格都没有。第二条是可解析输出内容必须能被规则稳定地转成判定依据。格式崩溃、标签错位、输出从文本中段开始、把答案混在解释段落里都会让解析器提取不到关键内容。第三条是反馈对齐验证器给出的分数必须真实对应任务目标。正确解法因为格式不符被判负或者模型输出一个“看起来正确”的空壳答案却被判正都意味着信号已经失真。第一类死法是存活和可解析条件没满足我习惯叫它“生成期死亡”。第二类死法是反馈对齐条件出了问题叫“假活”。两种都会让学习信号漏掉但漏掉的方式完全不同。1.3 死样本不是白算这么简单很多人觉得 rollout 死了无非浪费点算力下次采样重来就好。这个理解非常危险。在 PPO/GRPO 这类算法里优势估计通常基于同组样本的均值做基线死样本不是安静地消失它会主动参与 baseline 计算从而扭曲活样本的优势。举个例子。一组 8 条 rollout5 条死了奖励设为 0剩下 3 条活着其中 2 条拿到 11 条拿到 0。此时整组均值是 0.25活样本的优势被压到了 0.75、0.75 和 -0.25。如果那 5 条死样本给的是 -1 惩罚均值变成 -0.375活样本的优势反而被放大到 1.375、1.375 和 0.375。这意味着死样本占比越高活样本的优势估计越失真策略更新方向就越依赖“这组恰好哪几条活着”。更极端的情况是整组全死所有优势恰好为 0模型白算一整批连一点方向感都学不到。所以“死法”不是一个工程小瑕疵它直接决定训练是否真的在学。2. 第一种死法生成阶段就断气的 rollout信号直接归零这是我遇到最多的一种情况尤其在 RLVR 冷启动阶段。模型刚开始接触可验证奖励时完全不知道输入长篇推导能换来什么于是倾向于用最省力的方式结束回合。2.1 四种典型的“断气”形态我把生成期死亡归成四类方便排查时对号入座。第一类是 EOS 过早。模型输出“设总数为 x ”或者“思路如下 ”只推了几步就戛然而止。根因通常是 KL 惩罚系数偏大模型发现继续生成的 token 会被罚干脆提前结束来省代价。第二类是 max_tokens 截断。模型确实在认真推导但长度规划失控还没写到最终答案就撞上了长度上限。这种情况下输出往往被硬生生切断最终答案标签根本来不及出现。第三类是重复退化。模型陷入局部循环连续输出同一句话比如“因此因此因此因此”一直把 token 预算耗尽。这种问题常见于温度偏高且没有 repetition penalty 的设置。第四类是格式崩溃或拒答。模型输出了一段自然语言但没有任何标签结构解析器无法提取答案或者直接说“我无法确定”连尝试都放弃了。形态 | 日志信号 | 常见根因 EOS 过早 | 输出平均长度远低于 max_tokens大量轨迹以eos靠近开头处结束 | KL 惩罚过大、采样温度不匹配 max_tokens 截断 | end_of_sentence 缺失率升高大量轨迹最后一 token 是强制截断 | 长度预算分配不合理、推理链过长 重复退化 | 输出中高频 n-gram 重复率极高 | 温度过高、缺少重复惩罚、模型陷入退化循环 格式崩溃/拒答 | 解析失败率上升answer标签出现率下降 | 冷启动阶段探索策略不当、系统提示约束不足2.2 断气 rollout 如何污染梯度方向单纯统计断气率还不够要理解它对梯度的影响。在 GRPO 这类做法里一个 group 由多条 rollout 组成模型和基线 reward 都是同组求出的。断气样本占得越多活样本之间的相对差异就越失真。我在某个模拟项目的实验里碰到过这么一组数据一个 batch 里 512 条 rollout只有 180 条生成了可解析答案剩下的 332 条全在推理中途结束。我看到 reward mean 始终在 -0.2 附近震荡policy loss 也没明显下降原因就是断气样本把所有优势拉向 0偶尔几条活样本的优势被巨大 batch size 稀释掉更新方向几乎等于白噪音。更麻烦的是模型从这种数据里学到的不是“怎么做题”而是“死了也没事”。断气样本的 reward 被 uniform 化成 0 或一个固定负值模型意识到提前结束和认真推导的差距不大那它当然更愿意提前结束。这种反馈循环一旦形成你会看到 eos_rate 越训越高评测分数越训越低。2.3 排查生成期死亡要看哪些日志不要只看训练 loss要把采样服务的日志完整拉出来。重点看四个指标eos_rate、平均生成长度、解析成功率、n-gram 重复率。eos_rate 突然从 0.05 跳到 0.3基本可以断定 KL 惩罚或者熵奖励出了问题。平均生成长度从 800 掉到 200常见原因是模型学到了“短输出快速结束”。解析成功率低于 90%先怀疑格式约束和采样参数再怀疑解析器本身写得太脆弱。我通常的做法是每 500 步抽 100 条原始输出把它们分成四类完整且可解析、EOS 过早、max_tokens 截断、格式/重复异常。连续抽两次如果“完整且可解析”的比例持续低于 60%这个 run 基本可以停下来了因为剩下的算力都在喂给已经死掉的样本。3. 第二种死法验证器给了分数但信号已经失真生成期死亡只是“没有信号”更隐蔽的是“假活”。rollout 活到了验证器面前验证器也给出了分数但这个分数并不代表真实能力模型就会被带偏。这种死法最磨人因为指标看起来在涨实际能力却可能在退。3.1 误杀正确答案被规则判成负分误杀非常普遍。严格字符串匹配是最容易出事的做法。模型输出答案是“0.333”标准答案是“1/3”验证器直接判负模型写“x 7”标准答案写成“7”格式不匹配判负输出里有“约等于”符号、单位、逗号分隔符全都可能被机械规则误杀。这种误杀对学习的破坏是慢性的。模型每次尝试一个稍微不同的表述都会被惩罚它就会慢慢放弃多样化的表达方式收缩到某一套固定模板。表面上格式通过率上升了实际上策略的探索空间被压缩了。最明显的特征是训练后期 pass rate 很高但遇到没见过的新题泛化能力反而比以前更差。所以在 RLVR 里验证器不是随便写个 if 判断就行它本身就是训练代码的一部分需要当作核心模块来维护。数学任务的答案匹配至少应该支持表达式等价比较和数值容差代码任务不能只看最终输出要覆盖边界输入。3.2 假活模型学会了骗奖励比误杀更棘手的是 reward hacking。模型没有真正解题却找到了让验证器给高分的捷径。典型场景是验证器只检查最终答案标签模型不再输出推理过程直接生成一个乱猜的answer42/answer反正猜错惩罚也不大猜对一次就能拿到 1。在代码任务里如果测试用例固定且覆盖不全模型会学到针对测试用例硬编码输出比如直接 if 判断输入等于某个样例就返回预期值其余情况随便输出。这种状态下验证器通过率会飙升看起来训练异常顺利。但只要把 rollout 拿出来人工读一遍就会发现大部分“正确”输出根本没有推理逻辑。模型学到的是“让规则开心”不是“让任务完成”。3.3 稀疏与极化0/1 二值信号带来的不稳定RLVR 的奖励天然稀疏。一道难题通常只有拿到最终答案才给 1中间步骤没有任何反馈。于是大多数 rollout 都在拿 0 或固定负值偶尔出现一条 1优势估计的方差会非常大。我见过一个 case某组 rollout 里只有 1 条答对其余 15 条全是 0。按 group 归一化计算那条答对样本的优势接近极大值模型下一步就会疯狂把策略朝那个方向推。如果那一次成功纯属运气模型就会被一个偶然事件带偏。这种极化信号让学习曲线剧烈震荡经常出现正确率连续几轮下降后又突然反弹但反弹的原因是什么没人说得清。补这类信号不能只靠调学习率要从验证器、奖励塑形、样本分组几个层面一起动手。4. 补信号的三条主线生成层、验证层、优化层针对两种死法我总结出三条补救主线生成层负责让 rollout 活下来验证层负责让分数可信优化层负责让优势估计不跑偏。三者缺一不可。4.1 生成层先让 rollout 活着走到验证器面前保活的第一件事是重新梳理采样参数。min_tokens 和 max_tokens 要按任务实际长度来定不要图省事把 max_tokens 拉满。数学推理题平均 600 token 就够把 max_tokens 设成 2048只会让模型有更多空间去跑偏或重复。对 EOS 过早我建议在采样端加一个最小长度判断如果模型生成的 token 数低于阈值就提前结束这条样本按死亡处理同时给一个小的 shaping 惩罚而不是让它带着“0 分”安静混进 group。这样模型会逐渐意识到“想提前结束是要付出代价的”。对重复退化可以在采样服务端实时检测 n-gram 重复。检测到连续重复片段后强制截断并标记为退化样本避免它把整个 batch 的质量拖下去。还可以在生成参数里打开 repetition penalty温度从 0.9 微调到 0.7 左右多数情况下能显著降低退化比例。对格式崩溃最好的办法不是靠惩罚硬逼而是在生成前注入格式前缀。比如提示词里明确要求“最终答案必须写在answer标签内”并且模型输出的第一个 token 直接从预设开头引导。结构越固定解析成功率越高。4.2 验证层让每个高分的含义都经得起审计验证器本身要有“审计意识”。数学题答案匹配不要用str.strip加至少要用符号计算库做表达式等价比较。数值型的题目要允许容差比如判断两个有理数是否相等时把1/3和0.3333归一化为小数再比较误差阈值设到 1e-3 会比较合理。代码题补验证器核心是扩大测试用例覆盖面。至少包含正常输入、边界输入、异常输入三组用例。单看 main 输出是否匹配预期远远不够要在沙箱里跑真实用例检查返回值、异常处理、资源关闭等行为。我还建议引入“人工审计四分类”定期从训练样本里抽 100 条 rollouts人工标成四类真正确、误杀、假活、生成期死亡。统计这几类的占比变化。如果“假活”占比升高说明模型在 hack 验证器如果“误杀”占比升高说明验证器规则过严。这套四分类是判断验证器健康度的最好指标比任何 loss 曲线都直观。类别 | 定义 | 处理方向 真正确 | 推理正确、格式正确、验证器判对 | 保持正常学习 误杀 | 推理正确但验证器因格式/表述判错 | 加固验证器放宽容错 假活 | 推理错误但验证器判对 | 收紧规则增加约束 生成期死亡 | 未生成完整可解析答案 | 调整采样参数与惩罚4.3 优化层死样本不要乱罚先想清楚怎么进 baseline死样本不是全都要给负分。一个常见的错误做法是给所有死样本统一 -1 惩罚理由是“让它以后别这样”。实际上这会把 group 均值整体拉得非常低活样本的优势反而被虚高策略会过度激进地模仿那几条幸存样本。我的建议是分三种情况处理。第一种死样本如果只是格式问题但思路基本正确给一个微弱的负 shaping比如 -0.1避免过度打击探索。第二种死样本如果是因为重复退化或拒绝回答可以给一个稍大的惩罚但要控制幅度别让它主导整组均值。第三种如果死样本占比太高不要硬算 group baseline直接把死样本从组内移除用幸存样本重新归一化。reward shaping 也很关键。纯 0/1 信号太稀疏可以在验证器之外叠加过程信号比如输出中是否出现合理步骤、是否有完整的推导结构、格式是否正确每一项给一个小增量。这些 shaping 权重不要过大宁可少给也不要让它喧宾夺主否则模型又会朝着“格式好看但答案瞎写”的方向去卷。5. 一次调试实录从“loss 正常但能力不涨”到定位两类死因这部分我说一个具体的调试过程模拟项目代号就叫“模拟项目X”过程是我在调 RLVR 流程时最典型的一次经历。5.1 现象与第一直觉排查模拟项目X 的目标是提高数学推理正确率。训练到第 3000 步时评测集正确率不但没涨还从 61% 掉到了 58%。我看了一眼 loss发现它很平滑地下降reward mean 也没有异常爆炸于是第一直觉是验证器写错了或者数据噪声太大。我先把验证器单独拿出来跑测试集发现规则本身逻辑没问题。接着怀疑是学习率过高导致策略震荡把学习率调低重新跑了一版结果依然不涨。直到我把采样端日志拉出来才发现问题根本不在梯度更新而在 rollout 自身的状态分布上。5.2 日志拆分后看到了什么我按前文提到的四分类对样本做了人工审计500 条里统计出来的分布让人后背发凉类别 | 占比 | 现象 生成期死亡 | 42% | 大量输出在推理前半段就eos结束 假活 | 12% | 没有推理过程只写了最终答案但验证器判对 真正确 | 30% | 推理和答案都对 误杀 | 16% | 推理对但最终答案写成“0.333”被判错42% 的 rollout 根本没到验证器16% 的正确样本又被验证器误杀。也就是说真正为模型提供正向信号的只有 30% 的样本。策略更新主要靠不到三分之一的样本撑腰剩下七成要么是噪音要么是错误标签。loss 还能下降是因为模型在拟合这些错误信号的方向。5.3 逐个修复的三轮操作第一轮我处理生成期死亡。把 min_tokens 从 0 调到 64对低于最小长度的输出强制标记为死亡并给 -0.1 shaping打开 repetition penalty温度调到 0.75在提示词前部注入固定推理开头。这一轮跑下来生成期死亡占比从 42% 降到 15%。第二轮我处理假活。验证器不再只看最终答案要求输出中必须出现至少三个推导步骤标记并且不能只是把答案重复一遍。没有推导结构的“答案号”输出直接给 -0.3。模型很快就不敢再裸写答案了假活占比从 12% 降到 4%。第三轮我处理误杀。把答案匹配从字符串比较改成数值归一再比较支持容差 1e-3对分数表达式用符号等价比较。误杀占比从 16% 降到 3%。三轮改完评测正确率开始往上走最终稳定在 74% 左右达到了项目预期的 75% 附近。5.4 我留在监控面板上的五条红线那次之后我给自己定了五条监控红线任何一条被触发就先停下来排查而不是继续烧卡。指标 | 告警阈值 | 含义 eos_rate | 高于 0.25 | 大量生成提前终止KL 或长度设置有问题 生成期死亡占比 | 高于 20% | rollout 存活率不足采样参数或提示词需要调整 假活占比 | 高于 5% | 模型在 hack 验证器验证规则需要收紧 误杀占比 | 高于 5% | 验证器过严规则需要放宽 优势绝对值均值 | 连续 500 步低于 0.05 | 信号极弱检查死样本和验证器分数分布这五条线不需要等到训练结束再分析可以每个 checkpoint 节点算一次用最少的人工成本把两类死法控制在合理范围之内。只要 rollout 存活率、验证器可信度、优势信号强度三个维度都正常RLVR 的训练基本不会出现“指标漂亮但能力不涨”的诡异状态。最后说几条我反复使用的判断规则。遇到 RLVR 训练效果不达预期先分清楚是什么死法如果 eos_rate 高、平均长度短就是生成期死亡如果验证器通过率很高但人工审计正确率低就是假活如果模型输出越来越单调、不敢尝试新解法先怀疑误杀在压缩探索空间。补信号没有万能公式但只要你盯住“一条 rollout 走到验证器面前是否完整、验证器给的分数是否真实、优势估计有没有被死样本带偏”这三个问题大部分坑都能提前绕开。