啄木·改轨（Woodpecker）
二六零八零五一六八，木屑落在推理缝
0:00 / 3:30
弱模型不必先学会完整解题，才能帮强模型修错。《Woodpecker Distillation: Weak Models Diagnose Reasoning Bugs in Strong Models》把 Gemma-3-4B-IT 当作局部探针：在 Qwen3-4B-Instruct-2507 的同一段推理前缀后插入短 patch，再用最终 verifier 区分成功与失败，比较两类 patch 诱导的未来 token 分布，最后把修复信号蒸馏回原上下文。论文由 Baidu Inc. 与 Nanyang Technological University 的 Dayu Wang、Jiaye Yang 等完成，二人标注为项目负责人兼通讯作者。12
这首歌抓住三组数字：A-B-A 局部干预把整体 Pass@16 从 24.21% 推到 26.16%；贪心评测的五套数学基准平均准确率从 53.4% 到 54.8%，AIME 2024 和 AIME 2025 分别增加 10.0 和 13.3 个百分点。代价也写进歌里：验证 patched continuation 占单步时间 86.4%，而且论文目前只在数学推理上验证，依赖可靠 verifier；局部可修的 reasoning bug，不等于模型获得了全局解题能力。2
References
- 1arXiv 摘要页
arxiv.org
- 2论文 HTML 全文
arxiv.org
- 3arXiv cs.AI 新列表
arxiv.org
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.