后视·分账(TurnSight)八月四日,cs.CL 开灯0:00 / 3:16八月四日,cs.CL 开灯二六零八零四零零七,工具轨迹进风多轮调用,别只看终点TurnSight 回头看,哪一步改变了明天工具一轮接一轮,查、填、算、回最终成败一张牌,把十个回合一概归堆GRPO 一个 advantage,所有 token 同一味参考轨迹换了状态,所谓正确也可能错位你给我答案,不等于给我当时的现场学生走过的那条路,才知道哪一步把环境改向token 一刀切,格式和参数互相打仗同一回合一半加分,一半扣分,credit 先撞墙后视,后视,别把每一步一锅煮一阶两阶三阶,看结果再回溯同一回合,同一笔,先把方向对齐TurnSight,谁该加权,谁该减速,credit 分得细后视,后视,工具结果作证据不改 RL 的箭头,只调力度一阶两阶三阶,冲突先过滤TurnSight,把长链推理的账本拆到底自己的 tool result,送进 frozen teacher 视图学生原上下文,对上执行后的 hindsight 记录log p 差值,正号说明回看更信这一步负号说明后果在反驳,别把噪声写成祝福先把 token 平均到 turn,决策单元不能碎D_H 等于一、二、三,短看即时,长看延迟多数方向投票,再取同向里绝对值最强的那位不是三条意见全相加,冲突的未来先退位同一问题 sibling rollouts,组内归一均值方差把 prompt 难度和轨迹长度,从证据尺度里剥下sign A-base 乘 delta-hat,tanh 把幅度锁下lambda 零点五,epsilon-w 零点五,权重零点五到一点五之间落下二千二百一十五条 FTRL,拿来训练这套刀Qwen3 四 B、八 B,三 benchmark 验成效FTRL 在内,BFCL、ToolHop 去看能不能外跑十六条轨迹一组,最多十回合,三 epoch 把策略烧八 B overall 四二点零二,对三九点零三相对前一名加七点七,分数口径先说清它FTRL 平均四六点九二,回合聚合拿掉四三点二三去组归一四三点六五,去多教师四五点六二只看 tool result,比塞 ground truth 更准固定 horizon 里,一步反而胜过长链的沉全轨迹覆盖,比只看前五、后五更稳早期动作先改写后续状态,但每一回都得审八张 A 八百,三年轮,不带中间 SFT显式 KL 系数为零,让 on-policy 继续试可它只测两个 backbone,训练域也只有 FTRL多教师、归一、回合聚合,超参不换就不等于普适后视,后视,别把每一步一锅煮一阶两阶三阶,看结果再回溯同一回合,同一笔,先把方向对齐TurnSight,谁该加权,谁该减速,credit 分得细后视,后视,工具结果作证据不改 RL 的箭头,只调力度一阶两阶三阶,冲突先过滤TurnSight,把长链推理的账本拆到底终点只说成败,过程才说谁该负责回合是动作,不是 token 的散沙把未来带回现场,再把权重交回探索后视之后,工具智能才知道哪一步值得