知识蒸馏这几年在模型压缩和训练加速上都快被讲烂了但一旦把问题从“教一个网络模仿另一个网络”换成“教一个 Agent 模仿另一个 Agent”事情立刻就不一样了。标题里那串词——知识蒸馏、OPD、策略梯度、Agent——看着像四个独立概念实际是一条线先搞懂蒸馏的数学底座再搞清楚策略梯度怎么驱动 Agent 优化最后才能理解什么叫“Agent 蒸馏”以及 OPDOnline Policy Distillation在线策略蒸馏这种在线蒸馏机制到底解决了什么问题。这篇文章我想按自己的理解把这条线完整串一遍。我不会只给公式也不会只堆结论而是把每个“为什么这样做”的理由、常见的坑、还有我踩过的坑都写出来。适合正在做 LLM Agent 微调、RLHF 类项目或者想从传统知识蒸馏往强化学习方向扩的人读完应该能直接搭出一套可跑的 Agent 蒸馏小实验。1. 从知识蒸馏讲起教师-学生框架的数学底层1.1 知识蒸馏到底在解决什么问题知识蒸馏最朴素的场景是模型压缩大模型效果好但要钱要卡小模型便宜但效果差于是想让小模型把大模型的“知识”学过来。但这里有个隐含问题没法用普通监督学习解决——小模型如果只学习大模型预测的那个 hard label比如分类问题里的 argmax 结果它学到的其实只是结论不是过程。举个实际例子一个手写数字分类任务大模型看到“7”和“1”很像时它输出的是类似 0.6 给“7”、0.3 给“1”、0.1 给“其他”的概率。这个 0.3 和 0.1 是极其宝贵的信息它告诉学生模型“这两个类别之间有相似性别完全割裂看待”。但 hard label 只给了一个“7”这一层信息就全丢了。知识蒸馏的核心思想就是把大模型输出里的“软分布”也一并传给学生让训练不再以“答案对不对”为唯一目标而是以“思维过程像不像”为目标。这个思路放在 Agent 上也是一样。Agent 输出的不是一个分类而是一连串动作调什么工具、传什么参数、下一步怎么判断。其中大量的“不确定时刻”才是决策经验的精华。1.2 Softmax 里的温度一个让分布“变软”的旋钮知识蒸馏的数学核心从 Softmax 开始。假设教师模型输出 logits ( z_i )普通 Softmax 是[ p_i \frac{e^{z_i / T}}{\sum_j e^{z_j / T}} ]这里 (T) 就是温度。(T1) 时就是原版 Softmax。当 (T1)概率分布趋向均匀类别之间的差距被抹平模型“犹豫不决”的信息就显现出来了。当 (T1)分布更尖锐接近 one-hot 的 hard label。所以蒸馏训练里经常说“温度调到 3 到 5”原因不是玄学而是在这个区间里教师模型还能保留足够的信息量同时学生也不会被过于平滑的目标搞得梯度太小。温度太低学生从训练信号里得到的信息密度低温度太高整个目标就是个均匀分布梯度方向基本跟噪声差不多。实际训练时有个细节教师和学生要用同一个温度做 Softmax但学生模型在推理阶段仍用 (T1)。这一点新手最容易忘一旦训练和推理的温度不一致线上效果一定会有偏差。1.3 完整的蒸馏损失公式蒸馏的损失分两段一段是学生和教师软标签之间的 KL 散度另一段是学生和真实标签之间的交叉熵。常用写法是[ L \alpha \cdot T^2 \cdot \mathrm{KL}(p_{\text{teacher}}^T | p_{\text{student}}^T) (1-\alpha) \cdot \mathrm{CE}(y, p_{\text{student}}) ]为什么 KL 项前面要乘 (T^2)因为在温度 (T) 下的软标签梯度的量级大约会除以 (T^2)。如果不乘回来温度一高KL 项对总损失的贡献就萎缩了(\alpha) 的平衡意义也就没了。这种细节属于“数学必要但不看推导很容易忽略”的地方。系数 (\alpha) 控制“学思维”和“学标准答案”的侧重。分类任务里 (\alpha) 常取 0.5 到 0.9到了 Agent 蒸馏我会倾向调高蒸馏项因为 Agent 的真实行为往往比手工标注的“标准答案”覆盖面更宽这个后面详细说。2. 策略梯度让 Agent “做事”的引擎2.1 从分类概率到决策概率普通分类模型输出的是“这张图是猫的概率”策略网络输出的则是“在当前状态下执行动作 (a) 的概率”记作 (\pi_\theta(a|s))。Agent 优化本质上就是学这个条件概率分布。但这里有个本质区别分类任务有明确的标签策略任务没有“绝对正确的动作”只有不同的动作带来不同期望收益。所以在 Agent 训练里损失函数不再来自交叉熵标签而是来自期望回报[ J(\theta) \mathbb{E}{\tau \sim \pi\theta} \left[ \sum_{t0}^{T} r_t \right] ]我们希望找到让累计回报期望最大的参数 (\theta)。这个目标是可微的吗理论上可以采样后近似但它不是简单的分类损失还必须面临一个“采样不可导”的问题——我们只能估计期望没法直接对采样过程求梯度。2.2 REINFORCE 推导为什么梯度里会有 log 概率对 (J(\theta)) 求梯度标准推导是拿 log 概率的技巧绕开不可导点[ \nabla_\theta J(\theta) \mathbb{E}{a_t \sim \pi\theta} \left[ \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot G_t \right] ]这里的 (G_t) 是某个时间步之后的总回报。推导的核心思想是把概率分布的梯度换成“对数概率乘一个回报权重”于是我们采样一批轨迹对高回报的动作增加值对低回报的动作降低值。这个式子写出来容易实操里立刻会遇到方差问题。比如说一个环境的期望奖励是 10某个动作实际拿了 12 分看起来动作不错但如果整个环境本来就偏高12 分可能只是一个普通动作的正常水平那它就不应该被加大。问题在于我们只采样了一条轨迹噪声很大那个“基于绝对分数”的梯度方向可能完全错误。2.3 基线、优势函数消掉方差的关键于是引入基线 (b(s_t))把回报减去基线做成优势函数 (A_t G_t - b(s_t))。这样梯度变成[ \nabla_\theta J(\theta) \mathbb{E} \left[ \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot A_t \right] ]减去基线最常见的选法是状态价值的均值估计 (V(s_t))也就是“这个状态平均能拿多少回报”。如果动作带来的回报高于平均优势为正动作被强化低于平均优势为负动作被削弱。此时逻辑就从“回报高就加大”变成“相对平均更好才加大”稳定度好很多。这是策略梯度的核心直觉后面所有 PPO、TRPO 甚至 GRPO 都是在围绕“如何更稳定地估计这个优势”做文章。而 Agent 蒸馏里这个优势函数也是我们判断“该不该跟教师学”的核心钥匙——不是每个教师输出都值得学只有真正优于当前行为的那些决策才值得强化。2.4 策略梯度与 Agent 微调的现状LLM 时代的 Agent 微调绕不开策略梯度。比如拿一个基础模型做 Agent先用行为克隆学一批好的工具调用轨迹这是监督阶段再想让它学会自己探索地把任务完成得更好这时就需要 PPO 或类似的 RL 目标。最近非常热门的 GRPO 和各类在线策略优化方法本质都是策略梯度的亲戚。它们的共同点是不要求一个显式的、绝对正确的动作标签而是用一组来自环境反馈的相对优势来引导模型调整策略。这刚好也和蒸馏产生互补——蒸馏给的是“分布匹配”信号策略梯度给的是“收益提升”信号二合一就是 Agent 蒸馏的核心配方。3. Agent 蒸馏从蒸馏“预测”到蒸馏“决策过程”3.1 普通蒸馏在 Agent 面前为什么不够用如果把 Agent 当一个“多步决策器”那它每个时间步都在预测下一个动作看起来像一个极大的分类问题。直接用知识蒸馏的公式拿教师 Agent 生成一堆轨迹再用学生模型去模仿每个 token 的分布这叫行为克隆或者模仿蒸馏。代码上非常容易实现训练时间也不长但效果往往差强人意原因是它只蒸馏了“表面行为”没有蒸馏“内在判断依据”。举一个实际例子。某个 Agent 任务里教师模型会根据目标关键词决定先搜索还是先读本地缓存它的完整决策链条是评估信息成本 - 选择搜索 - 解析结果 - 再判断。如果我们只蒸馏每个时间步的输出学生模型可能学到了“在这个状态大多数时候搜索”但一旦遇到教师从没见过的相似输入学生就不知道该干什么了因为它没学会“为什么搜索”。所以 Agent 蒸馏要蒸馏的不只是动作分布还包括推理链条、探索过程中的分支选择、对中间结果的置信度评估。一句话蒸馏对象从“映射函数”升级成“决策策略”。3.2 轨迹级别与决策级别的蒸馏在实践中通常分两种粒度在轨迹级别蒸馏。教师跑完整条轨迹得到一系列状态-动作对学生拿这批数据做监督。实现最简单但受到分布偏移的困扰学生一旦在某一步出现偏差后续状态全不是教师见过的状态模型就崩了。这跟模仿学习里的 compounding error 是同一个问题Agent 场景更严重因为工具调用是链式的一步错后面全错。在决策级别蒸馏。不止让学生学习动作还让学生输出思考过程比如 chain-of-thought 或 tool-call 的内部决策理由。学生学的是一整套“判断方法”而不是某个动作的匹配关系。代价是训练数据要更精细通常需要采轨迹时把教师的中间推理过程也记录下来。最近很多 LLM 蒸馏方案开始走第二条路成果非常明显。原因很简单模型学到“为什么用这个工具”比学到“这个场景用这个工具”泛化能力强得多。这也是我反复强调的Agent 蒸馏的灵魂是传递意图不是传递键值对。3.3 过程监督、奖励模型和策略蒸馏的关系Agent 蒸馏绕不开对“好坏轨迹”的判别。常见的做法是训练一个奖励模型Reward Model或者过程奖励模型Process Reward Model然后用教师 Agent 采样多条候选轨迹奖励模型对轨迹逐时间步或整体打分过滤出高分轨迹作为学生的模仿目标低分轨迹也不是完全不用可以用负例告诉学生别这样做。这套流程其实就是把知识蒸馏和 RLHF 方法捏在一起了。区别是普通 RLHF 用奖励模型训练策略而 Agent 蒸馏里奖励模型更像一个过滤器最终监督信号仍然来自教师分布。还有一个很容易踩的坑这里不能只用“最终任务成功与否”当唯一信号。Agent 任务里结果相同但过程质量天差地别的情况太多了比如同样是完成了用户请求一个是调了 5 个多余工具一个是用两次调用就拿到结果这两条轨迹的“可学程度”完全不一样。所以能用过程奖励模型最好用过程奖励模型不然蒸馏出的 Agent 会把坏习惯也继承下来。4. OPD在线策略蒸馏是怎么回事4.1 OPD 想解决什么痛点普通离线知识蒸馏的模式是教师先固定下来跑出一大批离线数据学生再慢慢学。这套模式在分类问题上没问题但在 Agent 场景里暴露出几个致命弱点。第一教师和学生来自同一任务、同一分布但学生训练之后会越走越远当学生再遇到教师离线数据里没覆盖的新状态时就直接抓瞎。第二离线数据再怎么多样也是固定一批不能根据学生进展动态生成“当前最需要学习的样本”。第三教师模型固定意味着学生上限被封死在教师能力范围内永远抄不了捷径。OPD 的做法是把蒸馏过程变成在线、同步的。训练过程中教师和学生同时与环境交互学生每走几步就把当前策略的困惑点反馈回来教师再针对这些困惑点生成新的示范轨迹。学生的训练数据不是一次准备好的而是像导师陪练一样按需给。4.2 OPD 的数学形式策略蒸馏 策略梯度的合体在线策略蒸馏的目标通常写成这样的形式学生策略同时要满足两个目标一是跟教师策略靠近二是最大化任务回报。[ J_{\text{OPD}}(\theta) \mathbb{E}{s \sim d{\pi_{\text{student}}}} \big[ \mathrm{KL}\big(\pi_{\text{teacher}}(\cdot|s) ,|, \pi_{\text{student}}(\cdot|s)\big) \big]\lambda \cdot \mathbb{E}{\tau \sim \pi{\text{student}}} \left[\sum_t r_t\right] ]这里有几个细节值得注意。第一个细节是状态分布 (s \sim d_{\pi_{\text{student}}})也就是说 KL 项计算的不是教师自己跑出来的状态分布而是学生策略诱导出的状态分布。这是 OPD 与离线蒸馏最本质的区别我们关心学生在自己探索的路途中教师怎么“贴身指导”而不是教师在自己的舒适区里高谈阔论。第二个细节是策略梯度项前面的系数 (\lambda)。如果 (\lambda) 太大学生会偏离教师去追求瞬时奖励可能学到投机取巧的策略如果 (\lambda) 太小学生又会被教师绑得太死失去探索能力。我在实验中一般从 0.05 起步用一到两个任务 cycle 观察策略熵和平均回报的变化再决定往 0.01 还是 0.2 调。第三如果只保留 KL 项完全没有策略梯度项就退化成纯在线模仿学习学生只能跟教师一样好而如果完全移除 KL 项就变成普通在线 RL跟蒸馏就没关系了。所以 OPD 一定要同时保留这两股力缺一不可。4.3 在线 vs 离线的取舍 | 从离线蒸馏到 OPD 的具体演进两者的差异可以用一张对照表说清楚维度离线知识蒸馏OPD数据来源教师提前采好的固定轨迹按学生策略实时采样的新轨迹状态覆盖受限于教师探索范围跟随学生策略逐步扩展学生上限受限于教师水平最多逼近可突破教师结合 RL 提升计算成本低可离线预处理高需要保持环境在线适合场景分类、压缩、稳定任务Agent 训练、策略学习、交互场景OPD 的核心还有一个“渐进式”的问题训练初期学生策略一团糟如果直接追求和教师分布高度一致学生会不知所措因为它的状态空间差异太大。所以很多 OPD 变体都加了“策略渐进”机制例如先让教师用更大的探索系数生成数据覆盖更多状态等学生策略稍微成形再逐渐把蒸馏温度降下来收紧到教师的高质量区域。4.4 OPD 一个容易忽视的坑学生状态的语义漂移我发现很多新手做 OPD 时会忽略一个细节学生和教师看到的状态在特征空间里可能根本不是同一个东西。尤其是基于 LLM 的 Agent所谓“状态”是对话历史和工具调用序列学生模型训练到一半它产生的序列风格会和教师差距很大这时候如果用教师直接对这些学生状态打分、生成指导教师的判断很可能已不再适用。解决方案一般有三种一是定期对教师模型做“校准式更新”让教师也顺着学生分布做少量训练确保它能在学生状态空间里给出可靠指导二是在 KL 损失之外加一个状态层面的判别器判断当前状态是否偏离了教师可解释范围偏离太远就用低权重回退到学生自己的探索信号三是最土的但最有效的办法——限制学生探索步数不要让学生跑出离教师分布太远的行为空间。对做 Agent 项目的人来说哪个方案更划算取决于你的环境仿真成本。5. 当前实现 OPD 的可落地框架5.1 一份接近伪代码的最小实现我按自己项目的经验给一个最小可实现的结构框架无关伪代码风格# 伪代码OPD 最小实现思路 teacher load_teacher_agent() student load_student_agent() # 可用 teacher 权重初始化 env create_agent_env() reward_model load_reward_model() for round in range(total_rounds): # 用学生策略采样一条或一批轨迹 student_trajectories student.rollout(env, n32) # 对每个学生状态让教师生成示范分布 teacher_soft_targets [] for traj in student_trajectories: for state in traj.states: teacher_logits teacher.get_action_distribution(state) teacher_soft_targets.append(teacher_logits) # KL 蒸馏损失 distill_loss kl_div( student_logits(traj.states), teacher_soft_targets ) # 策略梯度损失 advantages compute_gae( traj.rewards, reward_model, student.value_estimates ) pg_loss -mean( student.actions_log_prob(traj) * advantages ) # 总损失 total_loss distill_loss lambda * pg_loss total_loss.backward() optimizer.step() # 可选教师渐进校准 if round % teacher_update_freq 0: teacher.adapt(student_trajectories)这个结构里最影响训练成败的是distill_loss和pg_loss的缩放关系。尤其在使用 Adam 这类自适应学习率优化器时两个 loss 的量级差异会导致其中一个几乎被忽略。我习惯在每一步分别计算两个 loss 的标量值并记录到日志里如果发现蒸馏 loss 掉得太快而 pg loss 迟迟不变多半是 KL 项的梯度假性过大或者教师分布太尖锐需要调整温度和 (\lambda)。5.2 一组可参考的超参起点下面这组参数是我在某个工具调用型 Agent 任务上调过的起点不一定通用但可以直接作为基线跑起来再慢慢调超参数建议起始值说明蒸馏温度 T4.0太低学不到中间分布太高梯度退化蒸馏权重 α0.7Agent 任务建议偏向教师分布RL 权重 λ0.1从低起跑避免策略崩坏学生 rollout 数32方差和成本之间的折中教师更新频率每 3 轮逐步适应学生状态分布GAE lambda0.95优势估计的折扣窗口熵系数0.01保持少量探索注意这个表里的数值不是算出来的是从经验里摸出来的起点。做 Agent 蒸馏一定要自己写一个像这样的“基线登记表”跑完一组记录一组而不是像做 CV 任务那样只盯着 loss 曲线看。Agent 任务中loss 下降不代表 Agent 的工具调用正确率上升必须额外统计任务成功率、无效调用率、步数分布这些业务指标。5.3 训练动态怎么跟踪我在 OPD 训练时建立的监控体系非常简单每个 step 记录蒸馏 loss、策略梯度 loss、平均回报、学生策略的熵、教师轨迹和学生轨迹的状态空间重叠度。重叠度很难直接算我的做法是随机抽一批学生状态让教师判断“如果是你你有多大信心在这个状态下行动”。如果教师平均信心很低说明学生已经探索到了教师不具备知识的区域这时候就强制增加教师校准或者降低学生的探索参数。这一个监控点特别重要可以说它是 OPD 训练成败的晴雨表。我在项目里见过太多次“loss 一直降任务指标却不动”的情况最后查出来全是学生早跑到教师知识盲区里去了教师给的示范全是坏的等于学生拿错误答案在练题。6. 常见问题与排查技巧实录6.1 蒸馏 Loss 降得很顺但 Agent 实际效果差这是最常遇到的迷惑情况。Loss 急剧下降反映的是学生和教师分布变得一致但这只能说明“模仿得像”并不能说明“行为好”。可能教师本身就产生了大量低效但概率稳定的轨迹学生“学坏”了。我习惯在流失下降的同时加看两层一是教师和学生分别在评测集上的胜率差二是教师轨迹中低分轨迹的比例。如果教师自己的轨迹也有接近一半低分先解决教师质量问题再来谈蒸馏。6.2 KL 散度训练中爆炸KL 项计算的是教师分布和学生分布之间的差异学生策略一旦在某些状态上因为探索突然输出了极端的概率KL 可能瞬间冲高。遇到这个现象常见原因有三个一是温度太低教师分布过锐二是学生回传梯度时把 KL 项当成了对称度量来用实际上要注意反向 KL 和正向 KL 的差异三是对数概率在数值上出现 NaN尤其是在某些库中 softmax 后进行 log 运算底数不小心发生了负数或零。我碰到最多的是第三类解决方法是稳定地加上 clamp 或手动对温度做处理。6.3 教师和学生能力差距太大如果教师模型本身比学生模型大一个数量级比如教师是一个 70B 的 Agent学生只有 7B 规模用硬 KL 对齐会非常困难。此时学生没有任何可能在所有状态下都匹配教师的分布反而学会了只模仿教师输出里的那部分简单模式。我的经验是针对这类“跨量级蒸馏”应该用加权 KL并且把权重放在学生不容易胜任的高维推理部分先让学生把低层工具调用学对高阶策略第二期再补。换句话说AI 蒸馏也可以是分期的。6.4 联合使用 PPO/GRPO 与蒸馏时的冲突不少团队在蒸馏之外还叠了 PPO 或 GRPO他们发现两者经常打架蒸馏希望学生靠近教师PPO 希望学生往奖励高的方向走。如果 KL 约束和奖励信号冲突得严重最后模型会震荡。我的处理原则是先把蒸馏作为主目标用它把学生推到教师能力附近再在这个基础上用轻量的策略梯度对教师策略中可能不佳的部分做修正。等学生超过教师之后再把蒸馏项的权重衰减到很低让策略梯度主导后续更新。6.5 Agent 蒸馏数据质量的速查表现象可能原因排查顺序学生策略熵极低蒸馏温度太小教师分布过锐升温到 5~8 再试任务成功率停滞教师轨迹里低质量样本太多先过滤低分轨迹再看学生学生出现重复工具调用轨迹里复用了教师无意义行为把过程奖励模型纳入轨迹过滤训练不稳定蒸馏与 RL 损失权重失衡分别打印两个 loss做归一化Agent 状态语义漂移学生探索过深限制学生 rollout 长度或增加教师校准7. OPD 与未来 Agent 蒸馏的几个延伸方向我自己看这个方向其实有两条非常自然的延伸线。一条是多教师蒸馏。Agent 任务往往有多种工具组合每个教师可能在特定领域更强。OPD 的做法到了这一步可以在不同学生状态下动态切换教师或者用知识集合方法部署这里计算成本会增加一个量级但从效果看值得做。另一条是让蒸馏目标不再停留在动作分布和 KL 散度而是往“过程奖励模型蒸馏”的方向走学生不光学策略还学教师评估状态优劣的判别能力等于学生同时继承“做事能力”和“审美能力”。这两件事合在一起才能真正做到“Agent 蒸馏”而不是“Agent 复制”。从数学基础、策略梯度再到 Agent 蒸馏我个人的体会是知识蒸馏、强化学习和 Agent 优化从来不是三条平行线它们在内核上是同一件事——如何在不确定的决策空间里让模型有效利用外部监督信号。OPD 只是把“离线知识搬运”改成了“在线陪练”这个改动虽然只动了一个“在线”但操作逻辑、实现细节、超参调节全都变了。如果这篇文章能帮你把其中一条线的逻辑打通那我觉得就没白写。