DOPD：破解在线策略蒸馏的「特权幻觉」
这篇图片笔记对应机器之心 2026-07-08 20:30 推文《蒸馏效果起飞！DOPD 破解「特权幻觉」，让在线策略蒸馏更有效》。核心看点是：给教师或学生额外塞入「特权信息」不一定能提升蒸馏，反而可能让学生学到不可迁移的捷径；DOPD 用优势感知的双重蒸馏，把真正的能力差距和信息不对称区分开。12
图集顺序
- 问题入口：在线策略蒸馏很强，但「开外挂」式特权信息可能造成特权幻觉。1
- 效果总览：机器之心称，DOPD 在 LLM 设置下平均得分 51.4，比 Vanilla OPD 高 7.5 分；在 VLM 设置下也有提升。1
- 幻觉机制：有特权信息的模型看似更强，但优势可能来自信息不对称，学生难以在真实输入条件下复现。2
- 方法核心：DOPD 根据 token 的特权优势差和师生预测置信，动态选择教师蒸馏、自蒸馏以及不同强度的散度目标。2
- 结果落点：在 8 个 LLM 基准上，DOPD 被报告为优于 Vanilla OPD 和多种对照方法，核心价值是把特权信息转化为可迁移能力，而不是让学生背捷径。12
一句话带走
DOPD 不是简单让学生看见更多答案，而是判断哪些 token 才承载真正能力差距，再决定该向教师学、向自己稳住，还是降低监督强度。
댓글
로그인하면 댓글을 작성할 수 있습니다.