8月17日论文雷达：20篇直接命中、6篇邻近，先看智能体何时该停、回滚与造世界模型

如果只读 12 篇

先把五种「继续做下去」分开

回滚、换分支、重建世界模型不是同一个动作

自进化至少有四个载体，收益不能混算

四个记忆基准问的是四个不同问题

一、20 篇直接命中

1. MobileMem: Learning from a Year of Mobile Experiences

• 入口：公众号 AI 栏第 2 条 · arXiv 2608.13606 · 项目页 · 代码
• 问题与方法：MobileMem 用 KEME 流水线从知识锚点和用户统计合成一年尺度移动体验，提供文本与多模态两种设置，覆盖多跳、更新、时间、偏好、拒答和视觉推理。MobileMem-Omni 包含 16 名中英文交互用户、1,589 个事件、155,670 轮对话、19,060 张图和 7,415 个问题。
• 结果、证据与局限：不同 LLM judge 会改变系统排名；视觉推理中，原图输入也明显优于图文描述。证据来自完整基准与多类记忆后端，但长程体验是合成的，用户模型较粗，judge 与骨干依赖都很重。它直接服务设备端长期记忆评测。11 结论：精读。

2. AI Research Preference Models

• 入口：公众号 AI 栏第 7 条 · arXiv 2608.13940
• 问题与方法：RPM 不再让研究智能体执行所有候选，而是每步生成 15 个候选，再用冻结的 Qwen3.6-27B 做淘汰赛选择；Agentic RPM 会先运行小型 pilot。评测覆盖 20 个 AIRS-Bench 研究任务，并用 32,596 个候选构造离线偏好数据。
• 结果、证据与局限：AIRS-Bench 平均归一化分数从 0.684 升至 0.711 和 0.729，约 15 小时达到 24 小时基线水平。端到端收益有价值，但结果集中在 AIRA-dojo、单一骨干和单一基准；离线数据还存在 off-policy 偏差。论文没有给出官方代码。10 结论：精读。

3. Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages

• 入口：公众号 AI 栏第 24 条 · arXiv 2608.14375
• 问题与方法：DHD 协议缓存 5 条独立消息，再对同一下游 integrator 做有无该消息的受控重放，用反事实效果而不是消息自己的答案正确性定义轨迹价值。
• 结果、证据与局限：5 个数学与科学基准、两个开放模型家族中都出现「答案错误但能帮助下游」的消息；在会改变最终正确性的错误消息里，两个模型都有超过四成带来帮助，重复实验给出 p=0.0002。论文有可复现性附件，但当前核验未展开具体基准与效应量。它适合指导多智能体消息筛选和自进化数据标注。15 结论：值得扫读。

4. Demystifying Agent Skills: Why They Work—Until They Don't

• 入口：公众号 AI 栏第 40 条 · arXiv 2608.14036
• 问题与方法：论文用 8,135 条受控试次和配对轨迹区分标准化技能、程序性记忆、成功/失败标注、跨框架迁移与技能池规模，并把检索、显式选择、真实执行分开测。
• 结果、证据与局限：技能相对 Workflow Memory 提高 6.06 分；65.7%的作用模式属于程序性锚定，显式知识注入只有 4.5%。技能池从 5 增至 100 时，使用精度从 29.6%降至 3.3%，但任务成功率基本不变。证据细、消融强，不过场景集中在终端与工具任务，模型和 agent 配置有限。6 结论：精读。

5. AgentRewind: Recoverable Execution for Long-Horizon LLM Agents

• 入口：公众号 AI 栏第 51 条 · arXiv 2608.14380 · 运行时代码 · MettleBench
• 问题与方法：AgentRewind 记录上下文与环境状态，外部验证器发现连续失败后，系统回到对齐检查点重放。MettleBench 含 82 个工程任务、640 条验收准则，来源覆盖 Terminal-Bench 2.0、SWE-bench 等 5 个基准。
• 结果、证据与局限：Terminal-Bench 子集上，AgentRewind 的任务成功率/进度为 83.1/90.2，Continue 为 78.7/88.7；去掉 rewind memory 后，主表一项降至 51.2/69.4。实验跨 7 模型、4 策略和多个 harness，但系统依赖外部验证识别停滞，也只覆盖可控状态。1 结论：精读。

6. PACE-Bench: A Benchmark for Self-Evolving Agents in Physical Adaptation to Changing Environments

• 入口：公众号 AI 栏第 60 条 · arXiv 2608.14441 · 代码
• 问题与方法：PACE-Bench 用 144 个 source-to-target 环境对覆盖 6 个物理域，让智能体在隐藏物理变化后修改可执行设计；基准比较 10 种自进化方法、4 类范式和 20 次尝试预算。
• 结果、证据与局限：最强 Reflexion+Qwen3-14B 的 Pass@2 只有 35.9%；14B 下 ACE 与 ReasoningBank 分别为 25.0%和 24.2%，低于 Vanilla 的 32.0%；Self-Refine 从未超过 7.1%。受控对照和错误分类很有价值，但 2D Box2D 与固定尝试预算不能代表真实机器人或无限期适应。7 结论：精读。

7. ScienceFlow: A long-horizon agent for ML research, scientific discovery and beyond

• 入口：公众号 AI 栏第 64 条 · arXiv 2608.14354
• 问题与方法：ScienceFlow 把长程研究拆成基于可执行工作区的 research segments；ESTRA 在 live 与 archived state 之间重新锚定，执行控制器再按已验证进展、剩余预算和资源分配任务。
• 结果、证据与局限：完整 75 任务 MLE-bench 在 24 小时内取得 70.22±1.18% Any-Medal，无 ESTRA 为 65.68%；Lite 消融中，完整系统 80.30%，去掉 ESTRA 或执行控制分别为 66.67%和 69.70%。结果覆盖多个基准和算力消融，但骨干敏感性只在单任务做 3 次运行，KTTSP 还是未做算力归一化的公开榜结果。论文没有官方代码。2 结论：精读。

8. MemoryLake on MemoryArena: A Matched Study of Agent Memory Backends

• 入口：公众号 AI 栏第 76 条 · arXiv 2608.13883
• 问题与方法：四套系统共享 agent 框架、gpt-5-mini、任务样本和评分代码，只更换完整记忆集成。论文明确把结果定位为写入、检索、整合、预算与提示组装的 bundled 系统对比，而不是表征级消融。
• 结果、证据与局限：按五个领域成功率等权平均，MemoryLake 为 20.5%，最佳对照为 13.6%；旅行规划四系统全为 0，网页购物只有 long-context 完成 1/150。作者只报告点估计，样本量小、置信区间重叠，也没有成本匹配和显著性检验。它值得作为记忆后端的谨慎系统级样本。14 结论：值得扫读。

9. HELIX: Model–Harness Co-evolution for Recursive Self-Improvement

• 入口：公众号 AI 栏第 77 条 · arXiv 2608.13951 · 代码
• 问题与方法：HELIX 把 OpenCode、Pi Mono 等 harness 分解为 typed ports、atoms、recipes 与 runtime policies，在 build–update–rebuild 循环中保留轨迹、测试、策略决策和来源证据。
• 结果、证据与局限：主矩阵中 Pi 为 50/100，最优固定候选 52/100；64 个非基线候选只有 2 个超过 Pi，23 个为零分，候选并集则覆盖 79/100。后续切片生成 438 条已验证训练记录。矩阵和重复评估扎实，但样本不是随机抽取，每个候选同时改变多组件，论文也尚未真正训练更新模型。8 结论：精读。

10. Clearing the Fog: Towards Installing and Refining Proactive Exploration Capabilities in LLM Agents

• 入口：公众号 AI 栏第 50 条 · arXiv 2608.14339 · 代码
• 问题与方法：SAFARI 先合成探索丰富型轨迹，削弱标准成功示范的后见偏差，再用有产出探索与冗余游荡的对比轨迹引导 RL。
• 结果、证据与局限：方法把「探索」从泛化的多试几次改成可区分的训练信号，代码已公开；但当前核验只到摘要，任务规模、绝对增益和失败类型没有逐项展开。它与轨迹构造和自进化训练直接相关，证据强度暂不足以升为重点。16 结论：值得扫读。

11. TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments

• 入口：公众号 AI 栏第 16 条 · arXiv 2608.14270 · 代码 · 数据
• 问题与方法：TimeSage-EV 让智能体只看到 cutoff 前的数据和文档，再用后续发布值做 ground truth。基准覆盖 60 个真实机构场景、6 个领域和 1,485 个 scenario-period 问答，并把状态识别、变化、归因和预测分层。
• 结果、证据与局限：整体分 GPT-5.4 为 86.0，最佳 hard 任务分只有 72.7；模型 token 成本相差超过 4 倍，顺序评测还暴露记忆收益随模型而变。live 设计与资源开放是优点，但数据以英文公共机构报告为主，不含图表视觉，多个评分轴依赖 DeepSeek-V4-Flash judge。17 结论：值得扫读。

12. Ontology-Grounded Project Memory for Coding Agents

• 入口：公众号 AI 栏第 22 条 · arXiv 2608.13662 · 基准工件
• 问题与方法：MOOSEDev 把架构决策、约束和变更原因存成带生命周期、来源和 supersession 关系的知识图谱，再通过 MCP 暴露给编码智能体。
• 结果、证据与局限：835 条记录上，系统在替代、集合完整性和否定查询中的答案集完整度为 0.98—1.00，向量记忆基线只有 6%—27%，而相关性召回和 token 成本接近。证据来自短篇、单语料、单对照，核心神经符号引擎还是专有组件。它值得跟进项目记忆的状态语义，但复现并不完整。13 结论：值得扫读。

13. When Personal Memory Has No Single Answer: Evaluating LLM Agents under Irreducible Conflict

• 入口：公众号 AI 栏第 38 条 · arXiv 2608.13921
• 问题与方法：TANGLE 用 541 个实例、40 种人格和 3 类不可约冲突评估冲突感知、因果推理、置信校准、澄清追问和记忆忠实度；CAAP 把「先选行动，再写回复」分成两阶段。
• 结果、证据与局限：最强模型在 oracle track 仍低于 15/20；行为振荡类最难，系统往往识别到冲突，却不会校准置信或追问。pipeline 里冲突可观测率从 Letta 的 91.7%到 MemOS 的 46.2%不等。双 judge 和人工子集提高了可信度，但数据、代码没有发布，评测仍依赖闭源 judge。12 结论：精读。

14. Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

• 入口：公众号 AI 栏第 65 条 · arXiv 2608.13564
• 问题与方法：RubricForge 从少量带 ground-truth 标签的轨迹诱导可读评判标准，冻结 rubric 后用一次模型调用判断 held-out 轨迹，重点降低把流畅失败误判为成功的 false pass。
• 结果、证据与局限：tau-bench 测试集上，false-pass 率从 G-Eval 的 0.173 降至 0.115，但准确率优势的 McNemar 检验 p=0.248，不显著；绝对分校准还略差。样本只有 62 条、judge 只有 Qwen2.5-7B、正例约 16%。这篇论文的 arXiv v1 是 6 月 25 日，并非 8 月 17 日新稿；本期只因公众号 8.17 栏收录而进入候选。18 结论：值得扫读。

15. Measuring Cross-Task Behavioral Consistency in Language Model Agents

• 入口：公众号 AI 栏第 67 条 · arXiv 2608.13598 · 代码
• 问题与方法：BCM 从约 9,000 条软件工程轨迹提取 12 类结构特征，用 LightGBM 预测成功，再用 TreeSHAP 归因向量的两两相似度衡量行为一致性。
• 结果、证据与局限：论文发现跨任务一致性、任务内一致性和成功率可以彼此背离。样本量大、代码公开，但 BCM 量到的是「与成功预测相关的结构轨迹签名」，不是语义策略；预测器、归因方法、特征和相似度都未做敏感性测试。arXiv v1 是 7 月 31 日，本期同样属于公众号 8.17 栏带入的旧稿。19 结论：精读。

16. SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

• 入口：公众号 NLP 栏第 24 条 · arXiv 2608.14277 · 项目页 · 代码 · 模型
• 问题与方法：SimpleOPD 让学生用自己的 tokenizer 生成，教师用自己的 tokenizer 评价同一文本，只对齐相同文本跨度；学生参考 KL 限制策略漂移，特殊终止 token 的优势被屏蔽。
• 结果、证据与局限：Intern-S2-Preview 在 ProofBench 从 21.70 升至 44.50；另一套 Gemini-2.5-Pro judge 协议下从 34.0 升至 55.2。多模型、多基准和消融较完整，但跨 tokenizer 差异越大迁移越难，Gemma 的 AnswerBench 反而下降，训练算力也未报告。20 结论：精读。

17. Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

• 入口：公众号 NLP 栏第 31 条 · arXiv 2608.14312 · 代码
• 问题与方法：Envs-FORGE 先用 verifier 奖励估计 seed 通过率，再用 MILP 从增难、减难、多样化与深度、广度组合中选动作，同步改写指令、fixtures、oracle 解、测试和 Docker 环境；只有 gold-verified bundle 进入 RL。
• 结果、证据与局限：Qwen3.5-35B 在 tb-core 从 40.0%升至 49.2%，tb-2.0 从 23.0%升至 29.4%，SWE-bench Verified 为 77.1%，基线为 73.4%。环境数和合成 token 做了对齐，但主对照集中在单次 35B GRPO run，MILP 模式和松弛预算也没有完整消融。9 结论：精读。

18. Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

• 入口：公众号 NLP 栏第 2 条 · arXiv 2608.13571
• 问题与方法：论文把 agent 轨迹中的 token inflation 定义为实际上下文相对紧凑解法的膨胀，先预测通胀与成本收益，再决定继续使用当前模型、升级模型，或丢弃膨胀上下文做 fresh escalation。
• 结果、证据与局限：通胀最高达到 4.25×，预测器 AUROC 为 0.887；GSM8K 上 InflationAgent 准确率 94.7%，FrugalGPT 为 91.0%，同时少用 31% token，fresh escalation 还带来 34.8 个百分点提升。结果说明「更长上下文」可能只是执行债务，但结论仍依赖选定任务、模型价格和路由阈值，论文没有给出官方代码。4 结论：精读。

19. Twin: Playing an Unknown Game with a Test-Time Digital Twin

• 入口：公众号 AI 栏第 88 条 · arXiv 2608.14490 · 代码
• 问题与方法：Twin 在测试时通过交互、程序归纳和反例修复构造未知游戏的可执行数字孪生，再在模型中搜索动作，而不是直接让编码 harness 在真实环境里试错。
• 结果、证据与局限：ARC-AGI-3 上，Twin 通关 179/183 个关卡，即 97.8%，总分 93.3%；现成 coding harness 为 61.1%，直接调用基础模型为 7.8%。差距很大、代码公开，但方法假设环境近似确定性、状态离散且可执行，搜索预算固定，潜在状态不可见时可能失效。3 结论：精读。

20. Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

• 入口：公众号 AI 栏第 54 条 · arXiv 2608.14425
• 问题与方法：optstop 把 LLM 评测视为序贯测量，根据分层贝叶斯后验的不确定性决定继续或停止，并支持二值、有序和连续结果。
• 结果、证据与局限：在 200 项、10 轮的说明性评测中，框架削减 57%—97%的计划试验量，同时保持与完整运行等价的总体结论。方法直指评测预算，但证据目前只是单一说明性设置，具体先验、跨基准稳定性和代码都未报告。5 结论：值得扫读。

二、6 篇邻近跟踪

1. Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

• 入口：公众号 AI 栏第 3 条 · arXiv 2608.13608
• 连接点、证据与局限：论文让更强 teacher 提供稀疏修正，再用学生随时间向 teacher 收敛的程度评估持续学习 harness；作者还发现，能力接近的模型互相充当 judge 时没有可用信号。它给无标签自进化评估提供代理指标，但当前核验停留在摘要，实验规模和绝对数字未展开。21 结论：邻近跟踪。

2. ARC: Fair Relative Advantage Comparison in Open-Ended Real-World Interaction

• 入口：公众号 AI 栏第 57 条 · arXiv 2608.13622
• 连接点、证据与局限：ARC 用策略条件化 rollout 分组、混合奖励和熵正则，减少开放交互中行为不可比造成的相对优势偏差；Inter 范式把首次 token 时间从 4.91 秒降至 1.27 秒。它可迁移到轨迹 RL 的公平比较，但当前只有摘要级证据，ARC 实现和 Inter-86K 语料还只是声明将发布。22 结论：邻近跟踪。

3. Handover of In-Context Learning State Across Session Boundaries

• 入口：公众号 AI 栏第 55 条 · arXiv 2608.14528
• 连接点、证据与局限：论文把跨会话移交形式化为任务相关 ICL 状态传递，区分精确恢复与保持目标分布，并提出「精确决策约束＋任务统计量＋未覆盖原始观测」三部分记录。它给长程记忆压缩提供理论边界，但没有实证基准、数值案例或代码，当前价值主要是概念澄清。23 结论：邻近跟踪。

4. Coverage Aware Active Evaluation for Failure Discovery with Paired Systems

• 入口：公众号 AI 栏第 71 条 · arXiv 2608.13719
• 连接点、证据与局限：方法把廉价代理系统与少量目标系统结果结合，用残差模型修正代理失败信号，再用 support-aware 互信息扩大真实故障模式覆盖。三个自主系统任务中，方法最多发现 2 倍故障。它可迁移到昂贵 agent 的主动评测，但当前证据为摘要级，任务细分、预算曲线和代码未报告。24 结论：邻近跟踪。

5. You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model

• 入口：公众号 NLP 栏第 32 条 · arXiv 2608.14465
• 连接点、证据与局限：YOPO 训练小网络从 steered 残差重建 clean 残差，让冻结模型在一次前向中同时回答、引导与弃权。1.5B alphaNLI 三向准确率从 0.375 升至 0.798，一次前向在三个规模上都超过两次前向参照。它可迁移到长程 agent 的安全停止和成本控制，但当前核验未展开重建网络预算与完整四域结果，代码也未报告。25 结论：邻近跟踪。

6. AT-ADD: All-Type Audio Deepfake Detection Challenge Summary

• 入口：公众号语音栏第 3 条 · arXiv 2608.14249 · 挑战赛官网
• 连接点、证据与局限：AT-ADD 把鲁棒语音 deepfake 检测与 speech、sound、singing、music 全类型检测分成两条赛道。最终评测中，Track 1 最佳 Macro-F1 为 90.71%，Track 2 为 96.10%；强系统普遍使用自监督音频表示、增强、多裁剪推理与类型路由。官方挑战赛数据强，但总分可能遮蔽不同音频类型和生成器的难度差异。它能补 TTS 与生成式音频的安全评测，不等于生成质量评测。26 结论：邻近跟踪。

研发判断落点

1. 恢复机制必须同时定义触发器和状态边界。 AgentRewind 需要外部验证器与上下文—环境对齐检查点；ScienceFlow 需要可执行工作区和可归档状态。只有「失败后反思」而没有状态恢复，系统仍可能带着被污染的环境继续走。
2. 自进化评测必须保留 Vanilla 和受限预算基线。 PACE-Bench、HELIX 与技能池实验都说明，新增记忆、技能或候选并不自动提高成功率。评测还要报告检索命中、候选多样性、失败固着和多次尝试的真实成本。
3. 预算控制要同时看信息价值和上下文债务。 RPM 按候选价值分配研究执行，InflationAgent 识别继续携带旧上下文是否划算，optstop 判断继续采样是否还能改变结论。三者分别控制候选、轨迹和测量，适合放进同一成本看板。
4. 记忆评测不能只看召回。 MobileMem 补长时序和多模态，TANGLE 补不可约冲突，MOOSEDev 补替代与来源语义，MemoryArena 类任务补实际完成。研发报告至少要把召回、有效性、冲突行动和任务成功拆开。
5. judge 结果必须带协议和失败成本。 RubricForge 提醒 false pass 比总体准确率更接近部署风险；TimeSage-EV 和 MobileMem 都显示 judge 选择会影响结果。任何用于训练轨迹的 judge 分数，都应附模型、rubric、采样、人工一致性和错误类型。