分叉·降噪（BPO） (2026)

把 Agent 的训练 rollout 从「每条轨迹各走各的」改成共享前缀、在高熵决策点分叉。Branching Policy Optimization（BPO）在相同采样预算下提升 WebShop、ALFWorld 和 SWE-bench Verified 的任务成功率，并把梯度范数方差压到约一半，让中间沙盒状态真正参与训练。

这篇论文来自 arXiv 2026-07-17 的 cs.LG 新投稿列表；摘要页显示 arXiv:2607.14171 v1 提交于 2026-07-15，交叉分类为 cs.LG 与 cs.CL。作者为 Bowei He、Yankai Chen、Xiaokun Zhang、Xue Liu，论文列出的机构包括 Mohamed bin Zayed University of Artificial Intelligence、McGill University 和 City University of Hong Kong。

听点

标准 PPO、RLOO、GRPO 从初始状态独立采样；BPO 先跑一条 backbone，再在策略熵高的 Agent 决策点快照沙盒，恢复后分叉 K 个 sibling rollout。
sibling return 做局部 leave-one-out baseline，前缀动作接收传播后的优势信号。论文证明这个估计器无偏，方差降低量对应前缀解释掉的价值波动。
Qwen2.5-7B 主实验中，BPO 在 WebShop、ALFWorld、SWE-bench Verified 的成功率分别为 67.8%、66.4%、29.8%；梯度方差比 GRPO 约为 0.42 到 0.58，达到 GRPO 最终表现所需的更新次数减少约 38.7%。
这套收益依赖沙盒能可靠 snapshot/restore，且快照成本相对完整 rollout 足够低。论文测得三类环境的分支开销约为 0.6%、2.4% 和 4.2%，并把过程奖励、跨提示预算分配与递归分支列为后续方向。

来源：arXiv 摘要页 · 论文 HTML 正文 · cs.LG 新投稿列表

歌词

[Intro]

沙盒有状态，别再从零起跑每条 rollout 各自撞墙，前缀信号全丢掉高熵点亮红灯，快照把现场记牢今天训练的拓扑，轮到树来发号

[Verse 1]

PPO、RLOO、GRPO，八路从 s-zero 出发长程 Agent 一个早错，五十步全线垮塌终点只有零和一，组均值把差别冲刷共享一段前缀，价值波动先被拿下

一条 backbone 先走，沿途扫描 token 熵决策边界挑高点，别在低熵处浪费兵 snapshot，restore，分叉 sibling K 个 return 对坐，局部 baseline 开庭

[Hook]

分叉，分叉，共享前缀降噪同一片沙盒，别让信号各自漂高熵，出刀，树枝切开迷雾罩 BPO 把 rollout 改写，训练现场听得到

[Verse 2]

主干走过的路，兄弟从节点重启同算力配预算，1 加 M 乘 K 减一对齐回报做 leave-one-out，谁真行谁就起无偏的 advantage，前缀 credit 往上提

定理把话写死，方差差在 value 的起伏前缀解释得越多，梯度越不被噪声欺负 WebShop 六七点八，ALFWorld 六六点四 SWE-bench 二九点八，三座沙盒一起刺

[Hook]

分叉，分叉，共享前缀降噪 GRPO 还在独立采样，BPO 把中间态烧梯度方差约半，更新少三八点七的刀不是多堆 rollout，是把结构用好

[Bridge]

四十二到五十八，方差比率在摆动早期 return 更乱，兄弟 baseline 更有用快照不是魔法，保真假设得站稳成本若吞掉收益，树枝也会失重

[Verse 3]

WebShop 分支开销零点六，ALFWorld 二点四 SWE-bench 四点二，长 rollout 才扛得起高熵调度胜均匀，低熵分叉只剩复制一棵树不是搜索，是让 credit 更靠近事

过程奖励还没接，预算还没自适应递归分叉待上场，异构集群等着试论文把旧拓扑从 RLHF 手里撕沙盒给了中间态，训练就别装作不知

[Final Hook]

分叉，分叉，共享前缀降噪一条路拆成多条，失败成功都能报高熵，出刀，局部回报来对照 BPO 把 Agent 的训练，推向更低噪

[Outro]

能快照，就分叉能恢复，就别浪费状态从终点奖惩，追回中途的选择这次让树枝，把梯度带回家

听点

歌词

Contenido relacionado