【免费下载链接】deciderA family of System One-style models fine-tuned from Qwen3.5, designed for one-pass typed decisions with calibrated probabilities.项目地址https://gitcode.com/gh_mirrors/decide/decider点击查看免费下载decider 是一组从 Qwen3.5 微调而来的 System One 风格模型家族核心能力是单次前向、带校准概率的类型化决策one-pass typed decisions。本文完整拆解 v10 是如何在 v8 权重之上通过384 步校准感知强化学习calibration-aware RL训练的奖励只来自结果、六道门禁把关、浏览器任务采样成功率从 83.0% 提升到 93.2%、belief 超额 nats 近乎减半。 v10 要解决的问题为什么用校准感知的强化学习v8 是 Hub 上经过监督训练的强大检查点但它的输出分布还可以更准在已知概率规律的环境里模型对自身下一步结果预测的置信度与精确后验之间仍有 0.473 nats 的 gap。v10 的思路不是加一个策略头而是直接训练对外服务的那个分布本身——单次前向、答案槽位的字母 logits、按存储温度 1.30 做 softmax。所有损失项都在这条服务分布上计算rollout 每次前向只打一分因此训练开始时 PPO 的比率恰好是 1。这一设计说明见 docs/RL.md。关键原则全程没有任何 gold 标签进入训练。两个外部评测集102 行 TypeSafe 工作流、5,252 行 OpenJev 夹具只用于报告从不参与奖励、门禁或检查点选择。 训练环境与只看结果的奖励设计RL 在四类环境里进行每轮迭代的规模、结果奖励和配套的 belief 问题如下环境每轮规模结果奖励belief 问题对精确规律打分实时 MiniWoB 点击任务16 个训练任务4 任务 × 4 重复至多 12 次点击任务自带 checker 报成功 1否则 −1这次点击会带来什么成功 / 失败 / 继续4×4 扫雷精确解4 棋盘 × 4 重复赢 1输 −1每个未翻开格子是雷还是安全对比精确后验5×5 打滑网格2 棋盘 × 4 重复到达目标采样走法实际落在哪对比转移规律已知成分的抽袋博弈2 棋盘 × 4 重复游戏获胜下一次抽出什么对比袋中成分几个细节值得注意docs/RL.md22 个浏览器任务里有6 个从未被奖励click-checkboxes-transfer、click-tab-2-hard、click-collapsible-2、click-dialog-2 等只用于验证——而它们恰恰是提升最大的MiniWoB 的 episode 计时器在每次 reset 后关闭否则模型的前向时间会把 10 秒的回合拖超时页面元素以文本列出并直接充当选项模型对每个元素给出概率。 四个损失项actor、belief、渲染一致性、retention这是整个配方的核心四项系数各有分工docs/RL.md损失项系数作用Actor0.1对采样动作的服务概率做 PPO 裁剪代理损失clip 0.2用终端回报 4 次重复间的 leave-one-replicate-out 基线Belief0.2用同一一次性格式问接下来会发生什么按 log score 对精确规律打分——这是恰当评分规则只有说出真实概率才会最小化选项按两种顺序读取并平均字母 logits消除顺序偏置渲染一致性1.0把服务答案state-first 布局、给定顺序detach与另外三种渲染逆序、schema-first、schema-first 逆序做 KL让两种布局、两种顺序在权重移动时保持一致Retention0.7每步回放 8 行监督数据计算 KL(v8 ‖ student)若 8 行均值 0.01 nats 或单行 0.05 nats该步丢弃 actor 与 belief、清零优化器一阶动量、只施加这一项——全部 576 步中有 94 步走了这条保护路径优化器设置AdamWBF16 权重配 FP32 masterbetas 0.9 / 0.95weight decay 0.01峰值学习率1e-616 步 warmup576 步余弦调度梯度范数裁剪 1.0。每轮产生 96 个采样转移分 12 个 batch每个 8 行训练。⚙️ 六道门禁v10 是怎么被选出来的检查点在 192 / 384 / 576 步保存用固定种子验证。一个检查点只有同时满足全部六道门禁均相对 v8 起点才有资格门禁条件采样胜率加权胜率0.5 浏览器奖励任务 / 0.25 扫雷 / 0.125 网格 / 0.125 抽袋至少高于 v8 0.02贪心胜率同加权不低于 v8Belief 超额对精确规律的平均 log-score gap 至少低于 v8 0.02 nats通用 NLL847 行监督验证集的 macro NLL 至多高于 v8 0.005通用准确率至多低于 v8 0.002渲染一致性256 行上四种渲染的 argmax 一致率至多低于 v8 0.01四条并行实验臂两个种子 × 两个 KL 预算都产出了合格检查点最终发布的 v10 是种子 9419、KL 预算 0.01 / 0.05、第 384 步docs/RL.md。 训练效果v10 到底改了什么在同一批行、同一批种子上测量95% 置信区间如下指标v10 对 v8同一行v8v10差异95% CI22 个实时浏览器任务采样玩法83.0%93.2%10.25.1 至 15.9其中 6 个从未被奖励的任务72.9%91.7%18.86.2 至 31.2贪心玩法90.3%90.9%0.6Belief 超额nats0.4730.219近乎减半点击结果 log score−0.349−0.034大幅收窄抽袋博弈胜率35.2%41.4%6.20.8 至 12.1Mind2Web 元素与动作选择1,770 行81.1%82.7%1.5TypeSafe 工作流决策102 行78.4%80.4%2.0847 行 in-task 验证83.6%83.2%−0.4区间含 0OpenJev5,252 行64.1%63.3%−0.8浏览器收益集中在服务分布上贪心只涨了 0.6 个点十个点全部在采样玩法里而从未被奖励的六个任务提升最多——说明模型学到的是可迁移的预测自己行为后果的能力而不是背题。游戏方面2B 模型没有搜索扫雷和井字棋前后都输大多数——变的是概率质量的分布抽袋博弈里 v10 把 67% 压在最优的袋上v8 是分散到多个袋上的 7%多赢 6 个点打滑网格上 v10 把 90% 放在正确走法v8 只有 37%。校准是 RL 目标直接训练的对象对每个动作模型被问接下来会发生什么答案用 log score 对精确规律打分。v10 在精确规律之上只超出0.22 natsv8 是 0.47在浏览器里预测自己点击结果的 log score 从 −0.35 收窄到 −0.03。 没变的部分以及路上学到的教训没变的井字棋 / 网格 / 扫雷胜率、训练任务上的通用准确率、Bespoke 套件上的校准、架构、readout、温度和推理速度。另外 v9 的 terse-bucket 数据不在 v10 里因为 RL 是从 Hub 上的 v8 权重出发的。路上学到的docs/RL.md——这两次失败直接塑造了上面的配方学习率 2e-6 会导致漂移从第 384 步起模型在短回放行上 KL 最大漂到 5.8 nats给出自信的错误答案没有任何检查点通过全部门禁把峰值学习率减半到 1e-6 后消失渲染一致性项砍半漂移该损失最初只在一臂运行就使漂移减半因此正式进入配方等权胜率门禁不可达2B 模型的网格与抽袋玩法根本不动门禁最终重新加权、偏向策略确实会动的浏览器环境等权数字仍被记录但不作门禁。 延伸阅读完整配方、门禁与全部测量docs/RL.md各版本训练历史长文docs/HISTORY.mdv10 发布条目docs/CHANGELOG.mdRL 实际训练的对象——readout 与模型定义原样 vendored检查点可直接在本包加载decider/prompt.py、decider/model.py游戏环境模块扫雷、打滑网格、抽袋等decider/games/如 decider/games/envs.py、decider/games/rl.py复现提醒RL 训练代码在独立的研究仓库中——它需要实时 Chrome MiniWoB、精确游戏环境和四块 GPU 支撑并行实验臂但训练读出的就是本包中的 readout因此 v10 检查点无需任何转换即可使用赞分享【免费下载链接】deciderA family of System One-style models fine-tuned from Qwen3.5, designed for one-pass typed decisions with calibrated probabilities.项目地址https://gitcode.com/gh_mirrors/decide/decider点击查看免费下载相关推荐PyTorch RL训练器模块详解构建可复用的强化学习训练流程PyTorch RL训练器模块详解构建可复用的强化学习训练流程 概述 在强化学习 RL 开发中训练流程的标准化和模块化是提高开发效率的关键。PyTorch人工智能强化学习深度学习机器学习如何7倍速训练强化学习Easy RL并行训练完整指南如何7倍速训练强化学习Easy RL并行训练完整指南 还在为强化学习训练耗时过长而烦恼吗单环境下训练PPO算法动辄需要数小时甚至数天严重影响开发效率。本文强化学习人工智能教程机器学习深度学习WinUtil 一键上手装软件、系统优化、修毛病一条命令跑通WinUtil 一键上手装软件、系统优化、修毛病一条命令跑通 刚重装完系统桌面除了浏览器啥都没有软件要一个个去官网找。WinUtil 就是干这个的一个运维桌面应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考