8月5日论文雷达：10篇直接命中、10篇邻近，先读3种长程信用分配方案

原文阅读顺序

三种长程信用分配，区别在「什么能被局部验证」

五篇精读

1. TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning

• 研究问题： 长程 Tool-Integrated Reasoning 常用整条轨迹的终局奖励，无法分辨哪个工具回合真正推动了结果；token 级监督又会抹平工具交互结构。
• 核心方法： 从 on-policy 执行结果构造 lookahead 深度为 1、2、3 的 hindsight 视角，经跨视角方向一致投票筛掉不稳定信号；再在 sibling rollouts 内归一化，调制 GRPO advantage，但不反转原优化方向。
• 训练数据与流程： Qwen3-4B/8B base 直接进入 RL，没有 SFT；FTRL 含 2,215 个可程序验证的训练实例。论文报告 3 epochs、8×A800-80GB、每个 query 16 条 rollout、最多 10 轮工具交互。5
• 评测与结果： FTRL、BFCL、ToolHop 三个基准上，4B overall average 为 37.51，对照 MatchTIR 为 34.76；8B 为 42.02，对照 39.03。提升集中在 BFCL 的 Long Context 与 Missing Parameter 等难子集。5
• 证据与局限： 双骨干、域内外基准、训练超参和代码齐全；但尚无独立复现。给 teacher 加 ground-truth 答案反而降分，说明特权信息可能干扰对真实执行轨迹的判断；过长 lookahead 也会稀释回合信用。
• 与目标线的关系： 直接命中长程任务训练与轨迹学习。可迁移启发是把「局部监督是否可信」做成跨 horizon 的一致性检验，而不是再训练一个只输出标量的过程奖励模型。

2. Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

• 研究问题： 视频编辑智能体完成大量相互依赖的决策后，才得到一个主观终局评价。不同任务的 judge 分数不可直接比较，终局标量也没有时间位置信息。
• 核心方法： Group-Relative Preference Backpropagation（GRPB）先把同任务内排名转成 zero-sum advantages，再按语义编辑片段分配有界信用；per-segment caps 抑制异常片段，exact return conservation 保留原回报总量。
• 训练数据与流程： 作者从 23 个真实后期制作项目构造 70 个任务，按项目划分为 18 个项目、54 个训练任务和 5 个项目、16 个留出任务；normal、medium、long-horizon 分别为 12、12、46 个。最终训练出 9B Crayotter。6
• 评测与结果： AgenticVBench 的四类 100 个任务上，GRPB 平均 15.7，Process-PPO 为 13.7，Terminal Rank PPO 为 12.0。Crayotter-9B 接入 GPT-5.6-sol 后平均 38.4；盲审三评委相对 base 的净胜率为 +34.2%。6
• 证据与局限： 有受控消融、盲审、外部基准和公开代码与材料。但外部基准同时改变模型与 harness，不能单独归因于 GRPB；作者也没有声称所有后期制作技能都同幅度改善。
• 与目标线的关系： 直接命中长程任务训练。它最值得迁移的不是视频编辑器，而是「把主观绝对分数降成同任务候选的序数比较」，适合播客剪辑、脚本改写等多解、延迟反馈任务。

3. Verifiable Memory: Learning Unified Memory Management with Local and Global Verifiers for Large Language Model Agents

• 研究问题： 长程智能体要同时保留长期信息、控制活动上下文、恢复早期证据。现有方案常把 LTM 与 STM 分开优化，统一策略又多靠轨迹级反馈，单次记忆操作很难得到准确信用。
• 核心方法： 单一策略控制七种操作：新增、修改、软删除 LTM，检索进入上下文，过滤、摘要上下文，以及恢复历史片段。训练用 SFT 初始化，再依次完成 LTM 维护、干扰下 STM 控制、完整任务联合协调三阶段 RL 课程。
• 评测与结果： ALFWorld、SciWorld、PDDL、BabyAI、HotpotQA 五个基准上，Qwen2.5-7B 平均 48.01，AgeMem 为 41.96；Qwen3-4B 平均 59.85，AgeMem 为 54.31。在 2,500 token 在线预算下，SR@B* 为 44.30、TN@S* 为 2,080；AgeMem 分别为 39.00、2,600。7
• 复现条件： 代码已公开。HotpotQA 使用固定 Qwen-Max 快照作 judge；冻结的 DeepSeek-V3.2 teacher 与验证器只在训练期使用，推理期移除。
• 证据与局限： 五基准、双骨干、预算评测与消融构成较强证据。记忆每个 episode 重置，未测跨会话或跨用户；只覆盖两个 Qwen 骨干，也没有评估对抗、隐私和冲突记忆。
• 与目标线的关系： 直接命中长程任务训练与评估。它把「记忆质量」拆成操作正确性、终态一致性和 token 效率，适合改造只看任务成功率的记忆评测。

4. ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning

• 研究问题： 专家模型在难题上也会失败。传统轨迹引导因此失去金轨迹，失败轨迹则常被直接丢掉。
• 核心方法： Golden Negative Trajectory（GNT）保留了较好的推理结构，但答案错误。ReflectRL 先要求模型定位错误、修复并重解，再用余弦衰减调度逐步撤掉反思提示，把能力迁回推理时使用的直接接口。
• 训练与评测： 覆盖 9 个数学、科学推理基准，4 个 1.5B–8B 骨干，并接入 GRPO、DAPO、EchoRL、OPD 四类 on-policy 方法。Qwen2.5-Math-7B 上，GRPO 的域内平均从 37.0 升到 42.4，域外从 20.9 升到 40.0；DAPO 分别从 38.4/25.3 升到 43.5/37.0。8
• 复现条件： 代码、69k GNT 数据和模型均已公开。
• 证据与局限： 跨骨干、跨方法、跨域评测较完整；但效果依赖高质量 GNT 与提示撤除调度。弱模型失败、自失败或任务不匹配的负轨迹可能无益，甚至损伤策略。
• 与目标线的关系： 直接命中轨迹学习与自进化。研发上应把负轨迹质量单独建模；「失败」不是一个类别，只有保留可修复结构的失败才值得训练。

5. dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model

• 研究问题： 语音编辑既要说明改什么，也要准确指定改哪里。自由文本指令容易遗漏操作、参数或目标区域。
• 核心方法： 用基于 transcript 的 XML 风格结构化指令表达文本插入/删除/替换、情感、音高/语速和停顿编辑；语义时间线不依赖显式时间戳，并允许外部程序检查指令是否完整。模型从连续自回归 dots.tts 适配而来。
• 训练数据与流程： 基座使用 150 万小时多语语料；编辑配对约含 1,100 万文本样本、1,000 万情感样本、800 万韵律样本和 500 万停顿样本。60% 的样本拼接 2–3 段，最长 40 秒，并加入 10–20 dB SNR 噪声增强。4
• 评测与结果： doteBench 为中英双语 1,541 例，分 text、emotion、prosody、pause、compositional 五类。text hard split 的编辑区 WER/CER 为 13.70%，非编辑区为 1.51%；停顿方向准确率 83.17%；组合编辑 component success 为 60.87%，all-component success 只有 30.00%。4
• 证据与局限： 指标覆盖指令遵循、区域外保留、说话人相似度与 UTMOS，评测设计较完整；但论文标注 work in progress，代码与模型只写「即将发布」。情感准确率为 21.63%，不支持说话人转换，也未覆盖多说话人编辑。
• 与目标线的关系： 直接命中 TTS 生成与评估。最可迁移的是「可检查的编辑契约」与分区指标；做播客后期时，应把局部改写成功、未编辑区域保留和多组件同时成功分开报告。

五篇值得扫读

6. CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning

• 问题与方法： 用 token 级 value variance 估计轨迹探索强度，按奖励类型调整 advantage，再用动态课程重加权题目难度。
• 结果与证据： Qwen2.5-7B、DAPO-Math-17k 上，AIME24/25、AMC23/24、MATH500 的 avg@32 分别为 0.237、0.133、0.720、0.512、0.802；证据中等，单骨干、单数据族，代码未报告，GRPO 因长度坍缩改用 GRPO-ASYN 对照。9
• 关系与结论： 直接命中轨迹学习；把轨迹方差当更新幅度代理有参考价值，但应先扫读消融与对照口径。值得扫读。 公众号条目

7. ToolLIFT: Lifting Tool-Specific Trajectories into Function-Level Graphs for Generalizable Tool Planning

• 问题与方法： 具体工具轨迹难以跨工具集复用。ToolLIFT 把工具 schema 拆成函数与领域描述，将历史轨迹提升为函数级工作流图，再用两阶段 GRPO 训练规划器和工具调用生成器。
• 结果与证据： 两个骨干、五个 ID/OOD 工具基准；Seal-Tools 上 Qwen 为 56.63，ToolRL 为 47.67。证据中强，但没有代码入口；参数来自多个信息源的情况尚未处理。10
• 关系与结论： 直接命中轨迹学习，适合关注「经验如何抽象成可迁移工作流」的团队。值得扫读。 公众号条目

8. Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

• 问题与方法： 从 24k 问题—轨迹对构建七类推理模式的 memory bank；测试时检索相似问题，多数投票形成 guidance trajectory，再用 Metropolis–Hastings 在滑动窗口内细化。
• 结果与证据： Qwen2.5-VL-7B 在五个基准的平均分从 52.0 升至 54.3–54.6，并可迁移到两个额外骨干；但结构化采样仍消耗 greedy 的 15–18 倍 token，代码未报告。11
• 关系与结论： 直接命中轨迹学习，价值在无权重更新的测试时对齐；成本足以改变部署判断。值得扫读。 公众号条目

9. GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks

• 问题与方法： 用 rule hybridization 把企业工作流拆成原子规则；训练任务只见规则子集，留出任务重组规则，以减少污染并把收益归因到训练经验。
• 结果与证据： 120 任务/12 组的 V1 上，四个智能体、四类监督带来 2.59–16.44 个百分点的留出准确率增益；最佳演化智能体仍低于 91.6% 的 oracle 上界。代码与管线已公开，但任务由自动管线生成，真实业务泛化仍待验证。12
• 关系与结论： 直接命中自进化评估。它更像一套可归因评测设计，而不是证明某种自进化算法已经成熟。值得扫读。 公众号条目

10. PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

• 问题与方法： 用 persistence-on/off 匹配对照测试个人智能体能否跨会话保留经验，并同时检查改善是否沿 save–retrieve–update 通路发生。
• 结果与证据： 26 个场景、204 episodes，覆盖 7 个模型和 4 个框架。Hermes+ 的 overall gap 从 +0.13 到 +0.15，机制证据从 0.64 到 0.73；作者明确指出总增益小于运行间波动，不能解读成稳定提升。代码已公开。13
• 关系与结论： 直接命中自进化评估。读它是为了学会区分「分数涨了」和「经验通路真的生效」。值得扫读。 公众号条目

十篇邻近但值得跟踪

11. Towards More Expressive Spoken LLMs: Fine-Grained Intent Benchmarking and Acoustic-Lexical Decoupled Policy Optimization

• 连接点： ParaIntent 区分显式/隐式意图，ALPO 把文本 advantage 与声学 advantage 分别路由到对应 token。它可迁移到 TTS 的情感与意图控制，但对象是单轮口语 LLM，不是通用 TTS 或播客系统。
• 结果与证据： 14 万合成训练样本、18,200 个测试样本；人类录音集上，GRPO→ALPO 的意图满足 79.67→81.61、响应质量 74.43→77.84、情感表达 69.33→71.78。证据中等，只测一个骨干、单轮场景，代码/模型/数据未报告。14
• 结论：邻近跟踪。 公众号条目

12. DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning

• 连接点： 显式证据图、节点级 provenance、SFT+GRPO 两阶段训练可迁移到长程智能体的可追溯推理；任务本身是 LongDocVQA，不是交互式长程任务。
• 结果与证据： 相对 Qwen3-VL-8B-Instruct，MMLongBench-Doc、LongDocURL、SlideVQA 分别提升 14.4、11.3、11.7 分。证据中等；摘要未提供代码入口和完整局限。15
• 结论：邻近跟踪。 公众号条目

13. PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory

• 连接点： 并行处理上下文块，在有界轮次内迭代精炼共享记忆，并用 RL 的回合效率奖励控制提前退出；可作为长程智能体记忆底层，但评测任务是 HotpotQA。
• 结果与证据： Qwen3.5-35B-A3B 与 Qwen2.5-7B 在最高 360 万 token 的设置下，较循环记忆基线分别提升 6.25、7.81 个绝对点，并加速 6.1×、2.1×。证据中等，代码与完整局限未报告。16
• 结论：邻近跟踪。 公众号条目

14. MAFIA: Query-Only Memory Attacks via Probing and Factual Injection against Audited LLM Agents

• 连接点： MAFIA 用内存探测、预算分配和事实伪装负载攻击持久记忆。它不是长程训练方法，却给 VerMem、PI-Mem 一类系统补上必须评测的威胁模型。
• 结果与证据： 攻击成功率最高 90.7%，同时把审计检测率从峰值 83.3% 压到至多 7.4%。证据中等；论文称代码将发布，v1 时尚不可用，摘要未报告完整局限。17
• 结论：邻近跟踪。 公众号条目

15. Hi-TTRL: Regulating Consensus with Hints for Test-Time Reinforcement Learning

• 连接点： 多数投票伪标签在低共识时不可靠，高共识时又让优势差异消失。Hi-TTRL 估计共识强度，并用 MCMC 提示采样把它拉回目标区间；可迁移到无标签自改进，但对象是测试时推理 RL。
• 结果与证据： 摘要报告跨数据集、跨骨干一致优于标准 TTRL，但未给出足以在此复述的统一数字；证据中等，代码与完整局限未报告。当前 arXiv 已更新到 v2，晚于公众号 8 月 5 日条目。18
• 结论：邻近跟踪。 公众号条目

16. Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

• 连接点： FISA 从模型失败案例生成「视觉更难但答案不变」的训练图像，再用自检验和双重保真过滤。failures→augmentation→verification 这条链可迁移到语音或智能体自进化；论文域是 VQA。
• 结果与证据： 摘要报告 ID/OOD VQA 均有提升，并能与文本自增强叠加；没有给出足以比较的统一数字。证据中等，代码与完整局限未报告。19
• 结论：邻近跟踪。 公众号条目

17. SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs

• 连接点： 论文把 SFT 干扰描述为 norm-limited，把 RL 干扰描述为 variance-limited，并据此提出 Parallel-RL。它会影响长程多任务训练的配方选择，但没有直接研究长程轨迹。
• 结果与证据： 理论分析配合参数级实证，代码已公开；本批只核验摘要，未复述正文中的效率数字。当前 arXiv 为 v2，更新于公众号发布之后。20
• 结论：邻近跟踪。 公众号条目

18. Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory

• 连接点： 对局后反思与规则提取构成无权重更新的「经验→规则→复用」路径，可用来验证自进化机制。
• 结果与证据： 在井字棋与四子棋等完全可观测二人零和博弈中，作者报告 experience memory 带来可测改善；证据偏弱，任务规模小、workshop 论文，代码和具体幅度未报告。21
• 结论：邻近跟踪。 公众号条目

19. CLASVS: Continuous-Latent Autoregression for Melody-Preserving Lyric Editing in Singing Voice Synthesis

• 连接点： State-Control-Transition 路由把目标歌词与参考旋律持续作为控制信号，只让历史 latent patch 在局部过渡段传播；可迁移到「改词但保留节奏、音色、情绪」的 TTS/播客后期，但任务是歌声合成。
• 结果与证据： 两个普通话基准、四类编辑上，macro-PER 相对离散 AR Vevo2 降低 46.2%，同时保持旋律和说话人相似度。证据中等，有演示页，代码与完整局限未报告。22
• 结论：邻近跟踪。 公众号条目

20. Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning

• 连接点： AudioRubrics 从原始波形为每个样本生成 rubric，并随模型 rollout 再生、重加权标准。奖励随策略弱点变化的思路可迁移到 TTS 的情感、韵律或自然度优化，但论文任务是音频理解与推理。
• 结果与证据： 摘要报告三个音频推理基准上优于开源和训练基线，且收益随 rubric 生成器/judge 能力增强；没有足以在此复述的统一数字。证据中等，有项目页，代码与完整局限未报告。23
• 结论：邻近跟踪。 公众号条目

研发判断落点