MOPD：小米把多位 RL 老师蒸回一个模型
解读小米参与的 MOPD 论文：它如何用多教师 on-policy 蒸馏，把数学、代码、指令跟随、软件工程和工具使用等领域老师整合进 MiMo-V2-Flash，并说明这条路线的实验收益与同源教师限制。
小米这篇 MOPD 论文盯住的是一个很现实的后训练问题：数学、代码、指令跟随、工具使用这些能力，单独用 RL 推上去并不难，难的是把多个强项塞回同一个模型，还不让它们互相拖后腿。论文在 2026 年 6 月 29 日提交到 arXiv，作者来自北大、小米 LLM Core、港大和人大，标题是 MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training。1
这不是一篇单纯报 MiMo-V2-Flash 分数的技术报告。它更像是在解释小米怎样把「多条 RL 后训练线」工程化合并：每个领域先训练自己的老师模型，再让一个学生模型在自己的输出轨迹上接受这些老师的逐 token 监督。论文说这套方法已经部署到 MiMo-V2-Flash 的后训练中。2
问题：多领域 RL 合并时，常见路线各有硬伤
现在的 LLM 后训练越来越像多条专业生产线。数学推理适合 verifiable-answer RL，软件工程需要可执行沙箱里的 Agent RL，指令跟随和写作又依赖 rubric-based RL，搜索 Agent 还要接网页环境。论文的判断是：每条线都能把单项能力拉高，但用户最后要的是一个单一模型，而不是一组只能各干一件事的专家。2
作者把已有合并办法分成四类：Mix-RL 把多领域 prompt 混在一起联合训练，容易出现领域之间的跷跷板效应；Cascade RL 逐个领域串行训练，后训练阶段越长，前面学到的能力越容易被后面冲掉；Off-Policy Finetune 用老师模型的 rollout 做离线 SFT，但学生推理时会走到训练数据没覆盖的状态；Param-Merge 在权重空间平均或做 task arithmetic，稳定性和峰值表现都不理想。2
这也是 MOPD 要避开的坑：不要把所有奖励信号混在同一个 RL 批次里，也不要把几个老师的参数硬合并。它改在 policy space 里做整合，也就是让学生在自己会生成的轨迹上，按任务领域去问对应老师「这个 token 概率该怎样」。
方法：学生自己生成，老师逐 token 打分
MOPD 的训练流程分三段。第一段是通用 SFT，得到一个覆盖目标能力的初始 checkpoint。第二段从这个 checkpoint 出发，为每个领域独立跑 RL，训练出数学、代码、指令跟随、软件工程等领域老师。第三段才是 MOPD：学生也从第一段的 SFT checkpoint 初始化，在多领域数据上自己生成轨迹；每条轨迹按领域路由给相应老师，老师在这条轨迹上做 prefill，返回每个 token 的概率分布；学生最小化自己分布与老师分布之间的逐 token reverse KL。2
这里有两个关键点。
第一，训练是 on-policy。学生不是模仿一批静态老师答案，而是在自己的 rollout 分布上学习，所以训练时看到的状态更接近推理时会遇到的状态。论文把这称为消除 exposure bias；换成白话，就是不再只教学生「老师走过的路」，而是学生走到哪儿，老师就在那儿给更细的方向信号。2
第二，信号是逐 token 的。常规 RL 往往等一条轨迹结束后才拿到结果级 reward，梯度稀疏且方差高；MOPD 让老师在每个位置给概率分布，等于把监督密度提高到 token 级。论文还给了两种实现：一种把老师与学生的 log-prob 差值当作 policy-gradient advantage，并做双侧裁剪；另一种只蒸馏老师 top-k token，默认 k=64，用较小 payload 避免传完整词表分布。2
工程上，作者没有把老师 prefill 塞进 RL trainer 的串行环节，而是把各领域老师部署成独立服务。学生采样完成一条序列后异步请求对应老师，teacher prefill 与其它序列采样重叠。论文称在部署中，老师侧计算几乎没有带来可测的额外 wall-clock 开销。2
实验：Qwen3-30B-A3B 上，MOPD 更接近多位老师的综合上限
控制实验用的是 Qwen3-30B-A3B。作者先做一个覆盖数学、指令跟随和软件工程的 SFT 起点，再分别训练领域 RL 老师，然后比较 Mix-RL、Cascade RL、Off-Policy Finetune、Param-Merge 和 MOPD 五类整合方案。评测覆盖 AIME25、AIME26、IFBench、IFEval 和 SWE-bench Verified，并用 normalised score 衡量学生相对 SFT 起点和各领域老师的头寸闭合程度。2
关键数字如下：MOPD 的 normalised score 是 0.9373，高于 Mix-RL 的 0.8818、Cascade RL 的 0.7752、Off-Policy Finetune 的 0.8241、Param-Merge 平均权重的 0.3280，以及 Param-Merge task arithmetic 的 0.8574。换句话说，它不是每个单项都超过老师，而是最均匀地继承了多位老师的能力。2
论文还报告了一个更直观的样本效率差异：MOPD 在 IF 上约 25K 样本、SWE 上约 30K 样本就接近老师平台，而 Mix-RL 需要每个领域完整 150K 到 180K 样本预算才接近相似水平。这个结论的前提是论文自己的训练配置和评测框架，不应直接外推成所有后训练任务都会省同样比例的样本。2
MiMo-V2-Flash：这套方法已经进了小米工业模型
论文把 MOPD 放到 MiMo-V2-Flash 上做了工业规模验证。这里的模型规模是 309B 参数，领域老师覆盖 Math、Code、IF、SWE 和 Tool Use。表 3 显示，MOPD 在 AIME25、HMMT25、LCB、τ²-Bench、τ²-Telecom 上达到或超过对应老师，在 IFBench 和 SWE-Bench Verified 上分别低于老师 2.2 和 0.8 个点。2
这组结果的含义要克制看。它说明 MOPD 能在一个大规模 MoE / frontier 级模型的后训练链路中跑通，并且大多数 benchmark 不掉队；它没有证明学生已经完全复制每个老师，也没有给出对外可复现的完整 MiMo-V2-Flash 训练配方。尤其是 IFBench 和 SWE-Bench Verified 的回退，提醒我们「多教师整合」仍然是保留大部分能力，而不是无损合成。
最值得注意的局限：老师必须同源
论文最有用的消融不是 top-k 和 policy-gradient 谁更好，而是同源教师实验。作者尝试在数学领域把原本从 Qwen3-30B-A3B 同一 SFT 起点训练出来的数学老师，替换成更强但分布差异更大的 Qwen3-235B-A22B。结果学生数学表现反而下降。论文给出的机制解释是：初始逐 token KL 从约 0.04 升到约 0.19，约高 5 倍；policy-gradient 版本里数学准确率逐步下滑，entropy 从约 0.30 收缩到约 0.21；top-k 版本在第 18 步附近出现训练发散。2
这个结果很重要，因为它把 MOPD 的适用边界说清楚了。MOPD 不是「随便找几个强模型当老师」的拼装法。它更适合一个团队自己有统一 SFT 起点，然后并行训练多个领域老师，再把它们蒸回一个学生。老师越强不一定越好；老师和学生的策略分布足够近，才是稳定蒸馏的基础。
论文还做了第二轮 student-teacher evolution：把第一轮 MOPD 学生作为下一轮起点，再训练 Math 和 IF 老师并做第二轮 MOPD。Iter-2 RL Teacher 的 normalised score 从 Iter-1 MOPD 的 0.937 提到 1.030，Iter-2 MOPD 学生达到 0.986。这说明一次整合后仍有头寸可挖，但论文只验证了一轮后续迭代，且第二轮没有新训练 SWE 老师。2
读者该怎么判断这篇论文的价值
MOPD 的价值不在于提出了一个全新的单点 RL 算法，而在于把几个训练约束放到同一个工程形态里：多领域老师可以并行开发，学生在自己的轨迹上学习，监督信号足够密，整合不依赖权重平均。对于正在做多能力后训练的团队，这比「再把多领域数据混起来跑一遍 RL」更像一条可操作路线。
但它也有三个需要继续看公开复现的地方。
- 论文的核心收益来自同源老师。外部强模型、闭源老师或来源差异很大的老师，未必能按同样方式稳定蒸馏。
- MiMo-V2-Flash 的工业验证只报告 benchmark 结果，没有公开完整训练数据、服务架构成本和失败样本分布。
- MOPD 解决的是能力整合，不自动解决每个领域老师本身的 reward 设计、沙箱可靠性、数据质量和安全边界。
所以这篇论文更适合被读作「大模型团队怎样组织后训练生产线」：先让各领域老师独立把单项能力推高，再用 on-policy token 级蒸馏把能力收回一个模型。它真正值得跟进的，是后续是否会有开源实现或更多团队复现同源多教师路线，而不是某个单一 benchmark 又多了几个点。
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.