RLVR为何越训越窄：STEER把熵变控制到token级

RLVR 用可验证奖励训练模型：数学题能判对错，代码能跑测试。但奖励信号越明确，模型就越可能反复强化少数已知路径，探索空间逐渐收窄，这就是论文讨论的熵坍缩。

机器之心介绍的 ACL 2026 Outstanding Paper，把问题拆到 token 级别。一个 token 会让局部熵上升还是下降，取决于它原本的生成概率、优势信号、裁剪机制和上下文条件熵。高概率的正确 token 被继续推高，分布会更集中；低概率但正确的 token 被保留，反而可能打开新的推理分支。所以「把熵整体拉高」并不是完整答案。

论文提出 STEER，按照每个 token 预计带来的熵变化重新分配训练权重。变化过于剧烈的 token 被降权，普通 token 基本保留原有学习信号，目标是给训练过程限速，而不是强行鼓励更多随机性。

论文报告中，Qwen2.5-Math-7B 的平均分为 48.6，高于标准 GRPO 的 44.2；Qwen2.5-Coder-14B 的代码编辑性能从 42.6 提升到 45.1，LiveCodeBench v5 从 29.3 提升到 31.8。具体效果仍应结合原论文的训练设置和基线阅读。

原文：机器之心：大模型 RL 训练为何会「越训越窄」？

论文：Rethinking Entropy Interventions in RLVR

代码：STEER