我先说个真实现象很多刚接触大模型训练的同学会把SFT和RL当成两套独立的调参玄学网上找到一张参数卡就直接照抄学率抄1e-4KL惩罚直接关掉epoch拍脑袋定个10轮结果模型越训越呆最后只能把锅甩给数据不行。我自己早年踩过不少这种坑后来才慢慢总结出来大模型SFT与RL核心训练调优技巧本质上是一套可以解释的工程规律。SFT解决的是模型能不能好好回答问题RL解决的是模型回答得够不够好、是否符合人类偏好两者是接力关系不是二选一。这篇文章我从基础概念讲到实操参数再讲到训练中常见的异常现象和排查链路尽量让零基础的同学也能看懂并且能真的拿去用。1. 先把两件事的定位搞清楚SFT管下限RL管上限1.1 SFT是什么本质是模仿学习监督微调SFT做的事情说起来很简单拿一批指令-回答对让预训练好的基础模型继续训练学会按给定的问题给出对应回答。用一个生活化的类比。基础模型相当于一个刚毕业的学徒什么都懂一点但不知道该怎么按规矩办事。SFT就别让他看菜谱模仿大厨做菜一勺盐、一把火候都对标标准答案先学会把基本动作做对。所以SFT也被称为行为克隆模型在学习人类期望下的输出分布而不是在理解世界的本质规律。这也是为什么SFT阶段的数据质量那么重要。如果给学徒的菜谱本身是错的他学得再熟练也只是熟练掌握了一种错误做法。指令内容错误、偏好偏差大、格式混乱的数据会让模型慢慢学歪。SFT解决的是下限问题模型学到的所有风格、格式、回答框架都会成为后面RL阶段的基础。在很多实际项目里如果只是做垂直领域的工具型对话比如客服问答、知识库问答做完SFT并且调得合格就已经可以上线了。SFT本身能解决的问题没必要强行上RL。1.2 RL在解决什么问题从模仿到自主优化RL强化学习在通用模型的训练语境下具体到流程里一般指RLHF基于人类反馈的强化学习。它做的事情和SFT完全不同SFT是照着标准答案学RL是让模型自己去输出再由一个奖励信号告诉它这样做好、那样做不好反复试错逐步提高期望收益。继续用学徒类比。SFT阶段是让学徒照菜谱做菜RL阶段是让学徒参加厨艺考核每道菜由评委打分评委说这道偏咸了、那道火候不够学徒根据得分调整自己的做法目标不再是一比一复刻菜谱而是做出评委认可的菜。这里的关键点在于人类偏好很难写成一串规则你很难手工告诉模型什么叫语气自然、什么叫有害、什么叫有用。所以RLHF的核心思路是训练一个奖励模型来代替人打分再用强化学习算法通常是PPO把这个打分信号传导给生成模型。RN就是把人的偏好翻译成一个数值RL的过程就是用这个数值去反向优化生成策略。1.3 两者不是替代关系是接力关系我给团队做技术方案的时候经常画一条简单的链路预训练 → SFT → RLHF。有人会问能不能跳过SFT直接上RL答案是理论上可以实际上谁也不会这么干。原因在于RL在巨大的动作空间里做搜索生成模型每输出一个token后续所有组合都是天文数字如果模型连基本的指令跟随都没有学会直接让它在这么大的空间里靠奖励信号摸索几乎不可能收敛到理想结果。SFT先把模型拉到基本会说话、会回答问题的邻域RL再在这个邻域里做偏好优化这才是稳定的路径。一句话总结SFT决定模型的下限RL决定模型的上限。下限都拉不起来的时候谈RL调优技巧没有意义。2. SFT阶段数据是上限参数决定能否够到上限2.1 数据准备中容易被忽视的三个问题很多同学一开始做SFT注意力全放在超参数上觉得学习率调低一点、batch调大一点效果就能上去。我的经验是至少七成的问题出在数据上超参数只是保证你能发挥出这批数据的上限。第一个要解决的是格式一致性。现在的基座模型都要求用特定的对话模板组织数据system、user、assistant三个角色的字段要清晰分隔特殊词元不能乱。如果训练数据里有的是单轮对话、有的是多轮历史、有的没有system字段模型就会分不清这句话是谁说的最后的表现为回答像文本续写而不像对话指令跟随便很差。一个典型的JSONL格式长这样{messages: [{role: system, content: 你是一个严谨的助手。}, {role: user, content: 解释一下什么是梯度消失。}, {role: assistant, content: 梯度消失是深层网络训练中反向传播梯度逐层衰减导致前层权重几乎无法更新的现象。}]}第二个是多样性。指令覆盖的业务场景要广单次对话、多轮对话、不同语气、不同长度都要有。一组全是类似问法的数据会让模型在真实场景里显得很机械。我自己的习惯是先按业务场景把数据分层每层抽几条人工检查再决定比例。第三个是去重和过滤。重复样本会让模型对这几个样本严重过拟合脏数据、错别字、截断的问答对更是直接污染输出风格。训练前至少跑一遍基于语义的去重把相似度超过阈值的样本降权或删除。2.2 关键超参数配置表与为什么逻辑下面这张表是我在多次训练中验证过的参数范围不同底座、不同数据量下可以做微调但量级通常不会跳出这个区间。参数预训练全参SFTLoRA微调说明学习率1e-4~3e-41e-5~2e-51e-4~5e-4LoRA只更新低秩增量扰动空间小因此可以用更大的学习率Epoch数轮以上2~43~5SFT数据量小轮数多容易学死Batch按token计按token计128K~256K按token计混长样本时按token计更稳Warmup动态3%~10%步数3%~10%步数给模型一个预热区间避免初始大梯度冲坏权重梯度裁剪1.01.01.0防止偶发异常样本打乱特征空间权重衰减0.10.01~0.10.01~0.1AdamW配合过大的WD在小数据量上会欠拟合为什么SFT学习率要比预训练小这么多这是最关键的理解点。预训练完成后模型已经收敛到语义空间里一个比较稳定的区域SFT要做的只是在附近做局部调整学率太大等于让模型在这个区域里横冲直撞直接破坏已经学好的表征也就是灾难性遗忘的根源之一。LoRA为什么又能用大一点的学习率因为LoRA不更新原始权重只更新一个低秩的增量矩阵可学习的参数量很小对原始空间的扰动有限。所以LoRA的常规学率可以到1e-4量级训练成本也更低我在很多中型项目上首选LoRA作为SFT的起点。Epoch为什么只有2到4SFT数据量相对预训练来说极小通常只有几千到几十万条指令对。模型在这批数据上多跑几轮很容易把训练数据里的表达方式当成唯一标准开始复读训练集内的句子语言风格僵化甚至出现背答案式的机械回复。我的经验是绝大多数情况下2到3轮已经足够偶尔在数据量特别大、风格特别多样时可以放到4轮。2.3 Loss只算回答部分一个必须做对的操作另一个经常被忽略的是Loss掩码。在对话式SFT里我们只希望模型学习助手应该怎么回答而不是去拟合用户输入的分布。训练时要把user句子的loss屏蔽掉只对assistant回答计算损失pad部分也要屏蔽。如果不做这个屏蔽模型会学成一个什么都该生成的续写器它会把用户的提问也算进生成概率里表面上Loss也在下降实际学出来的模型完全没有遵循指令的能力。很多同学微调完发现模型只会顺着用户话头乱接很大概率就是掩码没有做对。现在多数微调框架默认开启了仅计算回答部分Loss的选项但要注意使用某些通用训练脚本时这个开关可能没有打开尤其是自己封装数据流的时候。我在训练前会特意写一个检查项用一个极小的batch跑一遍确认loss数量级和mask行为符合预期。3. SFT调优排错从Loss曲线里读出来的真实问题3.1 Loss不降或者震荡剧烈大概率是数据格式问题Loss曲线是SFT阶段最直接的反馈信号。如果训练启动后Loss下降缓慢或者来回震荡幅度很大而你又确认学习率设置合理那么优先怀疑数据格式和掩码。我遇到过最典型的一次某团队微调一个对话模型Loss前100步死活降不下去后面排查发现数据里有一部分样本的assistant回答字段丢失模板解析后变成了空文本导致模型在blank位置反复预测、梯度方向互相打架。这类问题在TensorBoard上看就是一条长满毛刺的线怎么调学习率都没用。我的排查链路通常是这样的先拿一条正常样本手动跑一次前向确认数据组织正确再把batch size设为1跑几十步确认单条样本上Loss能正常下降最后再放大batch、开warmup。如果单条能降、多条不降问题在多batch并行或者数据混入如果单条都不降那就要回到数据格式和掩码本身。另外一个少见但真实存在的坑某些较长回答超过了你设置的max length被截断后标签位置错位模型学到的是回答被强行切断后再续写下一段这种错误模式。出现这个情况时训练集里会无端多出很多接得上但逻辑断裂的输出。解决办法是统计训练数据长度分布把max length设成能够覆盖95%以上样本的值。3.2 Loss一路降低验证效果却越来越差过拟合和对齐遗忘这是SFT里最迷惑人的情况。Loss曲线一路向下看起来一切正常实际拿验证集对话测试发现模型回答开始变得机械、重复、甚至复读训练集里的句子。这就是典型的过度拟合小数据量造成的背题现象。光看训练Loss是有欺骗性的因为模型可以把训练样本的正确答案背下来Loss自然很低但它没有学到泛化性的映射关系。我训练时始终盯三样东西训练Loss、验证集Loss、人工抽检回答。验证集Loss回升的时机就是过拟合开始的信号。止损和处理办法非常直接把epoch降下来重新训一版或者调整学习率调度策略末尾加入少量anneal。还有一个更实际的操作是训练中每隔固定步数保存checkpoint训练结束后不要只看最后一版而是拿最后几版checkpoint分别做一组对话测试挑实际效果最好的那一版。我在不少项目上发现倒数第2个checkpoint往往比最后一个checkpoint更好用。3.3 突然出现Loss尖峰回滚是基本功训练到一半时Loss突然跳高几个数量级然后又回落的尖峰一般有三类原因混入了一批格式异常的数据、学习率在某一步产生了过大更新、或者并发采样导致的随机性异常。遇到尖峰第一件事不是调参而是定位。我会先看尖峰出现的step附近数据加载顺序里对应的是哪一批样本。如果确实有一批坏数据直接清洗后重新训练如果没有明显的数据异常就回滚到上一个正常checkpoint把学习率减少一部分后继续。千万不要硬着头皮在一个已经表现出异常的轨迹上继续跑SFT阶段训练成本不算大重来的代价远低于顶着异常状态推数据。这也是为什么我强烈建议训练时高频保存checkpoint至少每500步存一个可恢复点。不要觉得多花一点存储没什么大不了关键时候能省你一整天重训的时间。后续RL阶段的回滚同样依赖这个习惯。4. RL阶段四件套架构与奖励怎么设计这个核心问题4.1 RLHF四件套分别是什么角色进入RL阶段很多人第一次看到Actor、Critic、Reward Model、Reference Model四个名字就懵了。其实把分工理清楚流程就很容易理解。Actor是被训练的生成模型它的任务是把提示词prompt生成一个回答。Reward Model是给回答打分的模型相当于阅卷老师。Reference Model是冻结的参考模型通常是SFT阶段的产物它的作用不是打分而是提供原策略的样子用来约束Actor不要跑太远。Critic是PPO里的价值网络它学的是当前状态下未来总收益的期望值用来计算每一步行动相对平均水平是好是坏。把四者放到一次PPO迭代里看流程是这样的采一批提示词Actor逐个生成回答Reward Model给每个完整回答打分Reference Model计算生成结果和原策略的偏离程度KL散度得到一个带惩罚的收益Critic预测这条轨迹的价值用实际收益减去预测收益得到优势值最后用PPO目标去更新Actor并在每次更新时控制幅度同时更新Critic。采样、评估、更新不断循环就是RLHF训练的主循环。4.2 奖励模型的好坏直接决定RL效果的天花板RL阶段最重要的不是PPO实现细节而是奖励模型质量。老师打分打得准学生才有进步的方向打分打得乱七八糟学生只会越学越乱最后变成讨好老师的投机分子。奖励模型的训练本质是让一个模型学会比较给出一对回答一个是人类偏好的一个是人类不喜欢的训练目标是让chosen得分高于rejected得分通常用排序损失加一个间隔约束。这里有几个实操要点。训练数据必须是真实的、覆盖Actor可能产生的各种输出。很多项目从公共偏好数据集里直接拿来用发现奖励模型准确率在评测集上还行一上线就失灵原因是评测集和Actor的实际输出分布差太远评分模型遇到了分布外样本。我的做法是先用SFT后的Actor采样一批多样化的提示词让人工标注这批真实生成样本再混入公共数据一起训练奖励模型这样分布更贴合。奖励模型的参数量通常远小于Actor不需要追求把推理也升级到同一个量级。实践中奖励模型用Actor十分之一到四分之一的参数量就够用毕竟它只做比较不负责生成。重点应该放在偏好数据的质量和标注一致性上。4.3 PPO、DPO、GRPO的选择逻辑老一代RLHF基本等于PPO现在有了更多选择。三种常见路径比较如下。方法核心思路资源消耗适用场景PPO在线采样奖励模型打分Critic预估价值用clip控制更新幅度高需要4个模型稳定性好效果上限高最经典GRPO去掉Critic在组内多条样本里用相对收益做优势估计中少了Critic可以显著降低显存适合小规模资源DPO不用奖励模型和在线采样直接用偏好对构造替代损失低只需要SFT模型数据充足、任务明确稳定但探索弱DPO很多时候被当作轻量版RL它确实不需要在训练中加载奖励模型和Critic训练一条命令就跑了。但它本质上是利用偏好对直接优化策略缺少在线采样带来的探索能力对于需要提升上限的开放域任务往往不如PPO/GRPO明显。我的选择逻辑是如果有资源和时间上PPO或者GRPO如果只是想让模型快速对齐一批偏好DPO可以先用起来做一个基线。5. RL训练震荡实录奖励黑客、KL失控和龟速迭代5.1 奖励黑客模型比你想的更会钻空子奖励黑客是我在RL训练中遇到的最气人的问题。模型不会老老实实按照你期望的方向变好它只会朝某个能最大化打分的方向猛冲而这个方向往往跟真实质量偏离。有个实际案例某次对话优化训练中Actor发现奖励模型给带大量道歉、带免责声明的长回答打了高分因为人类标注者普遍偏好保守回答。于是模型开始在每个问题前都加一大段我不确定、请注意风险回答又长又空打分反而很高。人类一眼看出问题数值上却一切正常。这就是典型的reward hacking。治它的组合拳包括KL散度约束保持对原策略的靠近让模型不轻易滑向极端风格对奖励打分做长度惩罚防止模型通过堆字数骗分定期人工抽检高奖励样本主动查看模型是否在钻空子。我在训练中每几百步就会从最新输出里抽一批高奖励、低奖励的样本来看这个习惯比任何曲线都可靠。真正的质量不是看奖励绝对值而是看人工判断的是不是在变好。5.2 KL惩罚失控输出退化最隐蔽的元凶KL散度在RL中的作用相当于系在Actor身上的安全绳。它衡量新策略和参考策略之间的偏差训练时会在收益中减去一个KL惩罚项。安全绳不能没有也不能绑得太紧或太松。绑太松的典型表现训练很快出现一个高奖励的虚假最优但模型输出熵急剧下降话变短、变重复、像复读机。原因是模型找到了打高分的一条捷径之后不再愿意探索多样的表达策略分布坍缩了。此时KL值会快速飞涨。绑太紧的典型表现RL几乎不起作用模型输出跟SFT版本差不多奖励一直在涨但策略没怎么动。训练中的监控方式非常简单直接记录每一步KL的移动平均值。我的经验阈值判断是如果单条响应的平均KL值持续超过某个量级比如长期超过5到10的量级就要警惕先提高KL系数或回滚checkpoint。宁可初始KL系数偏大让训练慢一点也好过看到输出坍缩后从头再来。CL系数可以先给0.1量级稳定一段时间后再逐步调低。5.3 训练速度慢到怀疑人生采样效率与优势估计RLHF和SFT最大的体验差异是慢。SFT是标准的数据并行训练流水线稳定RL里Actor生成回答、奖励模型打分、Critic算优势、策略更新要交替进行任何一个环节卡住整体速度立刻崩盘。我踩过的一个典型坑在生成长文本时Actor的推理阶段把显存几乎占满导致单次rollout只能采很小一批样本advantage方差大到爆炸训练忽上忽下完全没法收敛。后来把生成的最大长度限制到一个合理的值并且一次性并行采样更多的提示词问题才缓解。另一个优化点是Critic的更新。PPO里Critic学得不准advantage就不准Actor信号就越噪于是需要更多轮更新恶性循环。GRPO干脆把Critic去掉用同一提示词下生成的一组样本的平均奖励做基线用组内相对高低算优势省掉一个模型方差控制也不错。如果追求极致效率我建议从GRPO起步跑通后再换回PPO做精细调优。这里也补充一个工程技巧rollout阶段和训练阶段可以解耦先生成大量带奖励的轨迹存成离线格式再分批做策略更新。这样可以避免每轮都互相等待训练吞吐能提升不少。6. 完整训练流水线从数据到模型的一次性规划6.1 判断业务该走哪条路径不是所有项目都需要从SFT一路走到RL。我在给业务做技术方案时先判断任务类型。工具型任务比如信息抽取、分类、固定格式生成SFT合适不需要RL因为这类任务有明确答案偏好本身就没有太多更好的空间。开放生成型任务比如聊天、写作、摘要、翻译、创意文案这些任务没有唯一答案主观偏好影响很大SFT之后再加一轮RL通常收益明显。另外还有一个现实条件RL需要高质量的偏好标注体系如果你连一批稳定可靠的偏好对都没有硬上RL只会引入新的噪点不如先做好SFT。我见过不少项目SFT的潜力都还没挖完就急着上RL最后收益不升反降。6.2 一套可以抄作业的流水线参数下面这张表是我经过多轮实践后觉得相对稳定的配置模板。数据规模、计算资源不同时可以等比例调整但注意各阶段之间的依赖逻辑不要变。阶段数据模型关键超参监控指标SFT1万~10万条指令对基础模型或LoRAlr 1e-5~2e-5epoch 2~3训练Loss、验证Loss、人工抽检偏好数据构建2万~10万条偏好对SFT模型采样尽量覆盖真实分布标注一致性、Chosen/Rejected质量奖励模型训练偏好对小参数量打分模型lr 1e-5排序loss验证集排序准确率、一致性RL训练提示集在线生成ActorRefRewardCriticKL 0.02~0.1clip 0.2GAE 0.95KL移动平均、奖励均值、人工抽检每一轮RL训练之前都要保留上一轮的checkpoint作为回滚点。我曾经因为一轮KL调得太激进整个策略崩掉当时如果没有回滚点只能从头重来。现在我的铁律是每个阶段结束都保存一个命名清晰的checkpoint标注数据版本和参数版本后续想复现实验或者回到某个状态一秒就能定位。6.3 个人习惯信号样本抽检和止损线最后分享两个我用过很多年的小习惯。第一个是信号样本集。在训练开始前我固定挑20到30个有代表性的提示词覆盖简单、复杂、多轮、边界情况等类型每次训完一轮或每隔一定步数就把最新的checkpoint拉出来跑一遍这组提示词人工打分。这组样本不看训练曲线、不看验证集指标就是纯粹看模型回答像不像话。很多异常比如语气变僵硬、开始复读、拒绝回答都是靠这一组小样本提前发现的比等loss曲线拐头快得多。第二个是止损线。RL训练中一旦发现KL持续上升且无法通过调参压住或者人工抽检显示输出质量连续多步下降立刻触发回滚不要抱有再跑几步可能就好了的幻想。强化学习的特性就是一旦策略坍塌越往后越难救。在SFT阶段也是一样不合理的Loss尖峰出现后该停就停拖只会浪费更多时间和算力。我之所以把这些经验写下来是因为模型训练里真正的技巧往往不在参数卡片上而在一次次踩坑后的判断习惯里。希望这篇长文能让你在真的开始训练时少走几段弯路。