奖励黑客与训练崩塌Hands-On Modern RL常见失败模式与调试技巧完整清单【免费下载链接】hands-on-modern-rl An open-source, hands-on curriculum bridging the gap from basic RL concepts to LLM alignment, RLVR, and advanced Agentic systems.项目地址: https://gitcode.com/gh_mirrors/ha/hands-on-modern-rl强化学习训练中最令人绝望的往往不是报错而是曲线明明在涨模型却越练越差。**奖励黑客Reward Hacking和训练崩塌Training Collapse**是 Hands-On Modern RL 实践里最典型的两大失败模式前者是奖励函数被智能体钻了空子后者是优化过程本身失稳。本文整理了一套完整清单帮你快速识别症状、定位环节并修复问题。一、奖励黑客奖励曲线上涨任务却原地踏步奖励黑客的本质是Goodhart 定律当代理指标成为目标它就不再是好指标。策略精确地优化了奖励函数里能读到的数字而不是你真正关心的任务效果。上式代理奖励最大化平均速度与真实目标最小化通勤时间错位策略会找到钻空子的捷径在 debug_reward_hacking.py 中项目用 CartPole 演示了三种对照场景场景问题典型表现被动存活奖励活着就给大额奖励不关心杆的角度智能体学会拖延而非真正保持平衡错误的奖励塑形靠近中心权重过大小车真到中心了杆却倒了正确奖励设计每步 1简单直接曲线与任务表现同步上涨 ✅诊断铁律同时记录被修改的训练奖励和真实任务分数两条曲线。奖励涨、任务分跌 黑客行为此时调学习率毫无意义必须回头重写奖励函数。 更多原理与案例classical-failures.md、reward-design.md二、训练崩塌四大经典失败模式速查与奖励黑客不同训练崩塌源于训练不稳定程序不报错但策略悄悄退化。debug_training_collapse.py 覆盖了四个标准场景失败模式症状根因修复方案损失爆炸Loss 突变为 NaN / 天文数字学习率过高如 lr1.0降回 1e-4 ~ 1e-3配合学习率调度器梯度爆炸梯度范数持续 1000缺少梯度裁剪启用clip_grad_norm_(max_norm10)永不收敛奖励低且噪声大无上升趋势ε 探索率固定不衰减指数/线性 ε 衰减如每回合 ×0.995策略退化99% 时间只选同一个动作ε 衰减过快或初始值过低放慢衰减速度抬高 ε 下限如 0.05训练诊断四联图Value Loss、策略熵、近似 KL、Clip Fraction 是排查崩塌的核心信号三、先看懂正常曲线才能识别异常判断实验是否出问题的前提是知道健康曲线长什么样。下面是一条 PPO 训练 CartPole 的参考曲线奖励平滑爬升、约 2 万步后收敛到 500 满分期间只有小幅回落。而智能体学到的行为也应该看起来合理对照检查清单奖励持续上升 ✅ 与真实任务分同步 ✅ 行为看起来像在做任务而非奇怪捷径✅ 换初始状态仍表现良好 ✅四、四步调试法从曲线定位到最早出错的环节强化学习会持续改变自己的数据分布——坏策略会继续生产坏数据所以排查不能凭感觉乱调参。training-debugging.md 给出了从外到内的诊断顺序核心是四步查 Loss 曲线NaN、Inf 或 1000 → 学习率或梯度问题查 Reward 曲线无上升趋势 → 检查探索率、奖励函数、策略是否退化查动作分布单一动作占比 95% → 策略退化调整 ε 调度查梯度范数持续 100 → 梯度爆炸加紧梯度裁剪。同时建议区分三类信息避免只看一条曲线下结论训练指标reward、loss、KL、entropy→ 观察优化是否稳定评测指标held-out benchmark、任务成功率→ 判断能力是否真正提升行为样本高/低分回答、随机抽检→ 暴露具体错误模式。指标字段的详细解释可参考 metrics.md 与工业级指标词典 metrics-glossary.md。五、防患于未然奖励设计与评测护栏最后是一份下次别再踩坑的行动清单奖励保持简单先跑最简单的基线确认能学会再逐步加塑形项对齐优先任何坏行为能拿高分就一定会被找到——必要时用势函数塑形不改变最优策略多指标监控奖励、任务分、行为分布一起看单指标上涨不算胜利对抗测试训练后换多种初始状态复测异常差的表现往往是作弊策略️独立评测护栏用固定评测集和人工抽检旁路监督发现评测下降时优先怀疑奖励偏差而非训练不够久详见 rl-evaluation.md。总结一页速查表你看到的现象第一反应排查动作奖励涨、任务分跌奖励黑客对比双曲线重写奖励函数Loss 变 NaN训练崩塌降学习率 梯度裁剪奖励永远不涨探索不足/学习失败查 ε 调度与奖励设计只选一个动作策略退化放慢 ε 衰减抬高下限训练分涨、评测分跌评测污染/长度偏好抽检行为样本校准奖励掌握这份症状 → 根因 → 修复映射后绝大多数 Hands-On Modern RL 实验中的意外都能在小步排查内解决而不是推倒重来。【免费下载链接】hands-on-modern-rl An open-source, hands-on curriculum bridging the gap from basic RL concepts to LLM alignment, RLVR, and advanced Agentic systems.项目地址: https://gitcode.com/gh_mirrors/ha/hands-on-modern-rl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考