16个专家模型如何炼成一个？MiniCPM5-2B-MLX的在线策略蒸馏OPD原理深度揭秘

• 人工智能
• 大模型
• 基础模型
• 本地部署
• 模型量化
• openBMB

MiniCPM5-2B-MLX 是面向 Apple Silicon 优化的 4bit 量化端侧大模型（约 2.5B 参数），由 2B 级开源 SOTA 模型 MiniCPM5-2B 转换而来。它最值得聊的，是官方后训练流程中那一步OPD（On-Policy Distillation，在线策略蒸馏）——把 16 个 RL 专家模型的能力"炼"进同一个模型。本文带你彻底搞懂这套原理。

为什么要把 16 个专家模型"炼成"一个？

🤔 做强化学习（RL）后训练时，团队通常会为不同方向各训一个专家：数学、代码、写作、Agent……好处是每个方向都能拉到最优，坏处也很直白：

• 16 个模型 = 16 份存储和部署成本，端侧设备根本放不下
• 每个专家顾头不顾尾：数学专家写代码可能拉胯，通用能力还会互相拖累
• 用户要的是一个"六边形战士"，而不是十几个偏科生

MiniCPM5-2B 的解法就是RL + OPD两阶段组合拳：先用 RL 把专家练强，再用 OPD 把 16 位专家的绝活合璧到同一个发布模型里。

MiniCPM5-2B 后训练三步走：SFT → RL → OPD

整个训练是全栈式的UltraData 分级数据管理实践，覆盖 base training、mid-training 与后训练三个阶段。后训练又拆成三步：

第一步 SFT：用 400B tokens 打好深度思考地基

先用400B tokens 的 deep-thinking SFT 数据建立深度思考与通用对话能力。这批 SFT 数据已开源为 UltraData-SFT-2605，Agent 方向的 SFT 数据为 UltraData-SFT-Agent-2609（约 500K 智能体训练样本）。

第二步 RL：16 个专家模型登场

随后，团队针对数学、代码、Agent 任务和写作等方向，分别训练出 16 个专用 RL teacher，其中包含5 个 agentic 专家模型。RL 阶段采用了 JustRL II 提出的 critic-based 算法，大幅提升了小模型强化学习的训练稳定性。RL 训练数据已开源为 UltraData-RL-2609（8 万+ 高质量样本，覆盖数学、代码、通用知识与长上下文推理）。

第三步 OPD：一个模型继承 16 种专长

最后通过On-Policy Distillation（OPD，在线策略蒸馏），把 16 位专家的能力合并进同一个发布模型。这一步正是 MiniCPM5-2B 能"以小博大"的关键，下面拆开讲。

OPD 核心原理揭秘：反向 KL 散度如何替代验证优势

OPD 官方描述只有两句话，但信息量很大，我们逐条翻译：

关键设计 1：全词表反向 KL 散度作为优势估计

"在 response 序列的每个位置，对学生和教师 logits 计算全词表的反向 KL 散度作为优势估计值，替代原有的 verification-based advantage。"

用大白话说：

• 传统 RL 的"验证式优势"：靠外部验证器给整条回答打一个对/错分，信号稀疏——一整篇回答可能只换来一个分数
• OPD 的做法：学生模型自己"在线"生成回答（on-policy），在每一个 token 位置上，拿学生与教师的完整词表 logits 算反向 KL 散度，把它当作这个位置的"优势值"

相当于把"期末一次性打分"变成了"逐字批改"：每一步都有密集、细粒度的监督信号，学生模型能贴着教师的完整概率分布快速对齐，而不是只学到"这道题做对了"。

关键设计 2：直接复用 RL 提示词，蒸馏语料零成本

"OPD 直接复用各 RL teacher 训练时的 prompt 作为蒸馏数据，无需额外构造语料。"

各专家训练时用过什么题目，OPD 就用什么题目。省掉一套独立的蒸馏数据集构建流程，工程上极其省心地"一鱼多吃"。

RL + OPD 实测收益：推理平均 +10.96 分

这套组合拳的官方数据相当能打：

合并后的 MiniCPM5-2B 综合均分53.9，超过对比集合中所有更大的 4B 级模型（最高 51.1），部分代表性成绩：

MiniCPM5-2B-MLX 模型规格一览

本仓库是上述最终模型的MLX / 4bit 版本，专为 Apple Silicon（M 系列芯片）统一内存架构设计。核心规格（见 config.json）：

⚡ 4bit 量化让这样一个"16 专家合体"的模型可以舒服地跑在 MacBook 的统一内存里。生成参数建议temperature=1.0, top_p=0.95, min_p=0.0，已预置在 generation_config.json 中。

项目文件导读：从配置文件看懂这个模型

想深挖 OPD 与完整训练配方的原始出处，重点阅读 README.md 中的"Training Recipe"章节即可。

总结：OPD 给端侧模型带来的启示

🎯 回看这套"16 合 1"的炼法，它给了我们三个可复用的经验：

1. 专家分工、蒸馏合并：RL 阶段可以放心地"各练各的"，OPD 负责最后一公里的能力合璧
2. 逐 token 的密集信号 > 逐条的稀疏信号：用全词表反向 KL 散度当优势估计，把教师能力"逐字"灌给学生
3. 数据复用：RL 的 prompt 就是蒸馏的语料，工程成本几乎为零

对于端侧部署场景，MiniCPM5-2B-MLX 证明了：2B 量级的模型，靠训练配方而不是堆参数，同样能打出超越 4B 模型的综合成绩。

如果需要本地使用，可执行git clone https://gitcode.com/OpenBMB/MiniCPM5-2B-MLX获取模型文件，再配合 mlx-lm 框架在 Apple Silicon 设备上运行。

• 人工智能
• 大模型
• 基础模型
• 本地部署
• 模型量化
• openBMB