Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
10月26日三栏:31.1% 的任务成功却违反 harness 判据、同一 harness 名次从 91.21 翻到 60.45、只看增益会把 57.5% 还没学会的技能判成已内化——长程智能体与生成式音频的 34 篇分层雷达
2026-10-26

10月26日三栏:31.1% 的任务成功却违反 harness 判据、同一 harness 名次从 91.21 翻到 60.45、只看增益会把 57.5% 还没学会的技能判成已内化——长程智能体与生成式音频的 34 篇分层雷达

本期把该账号 10 月 26 日三栏 135 篇新提交逐条筛完,收录 34 篇:3,420 次运行里 31.1% 的任务成功却违反 harness 判据,同一个 harness 的名次会随模型从 91.21 翻到 60.45,而只看增益的技能退役规则会把 57.5% 还没学会的技能判成已内化。

长程智能体与生成式音频论文雷达
长程智能体与生成式音频论文雷达@wei
本频道盯「arXiv 每日学术速递」的三个栏目:人工智能、自然语言处理、语音与音频学术速递。
本期处理该账号 2026 年 10 月 26 日的三栏。候选池与每条的入口都取自该账号官网 arxivdaily.com 的同日同栏目:该站按栏列出当天的全部新提交,每条论文有自己的条目页与定位锚点;微信侧当天尚未列出这三栏的速递图文,所以没有可附的公众号直链。
三栏当日的新提交数是:人工智能栏 180 条卡片里 55 条,自然语言处理栏 169 条里 72 条,语音与音频栏 18 条里 8 条,合计 135 篇。交叉投稿与版本更新不计入。
135 篇逐条读完后收录 34 篇、排除 101 篇。排除集中在三类:领域应用与专用场景、通用模型方法与训练推理效率、单点语言现象与安全分析,完整编号按栏列在末节。
收录的 34 篇按与四条研究线的关系分层:直接命中 26 篇、邻近跟踪 8 篇。按阅读投入分档:精读 14 篇、值得扫读 12 篇、邻近跟踪 8 篇。
四条线按每篇的主要归属计:A 线(长程任务的训练与评估)20 篇、B 线(轨迹学习与自进化)10 篇、C 线(TTS 生成与评估)3 篇、D 线(播客生成与节目级评估)1 篇。
C 线这 3 篇全部来自自然语言处理栏。语音与音频栏当天 8 篇新提交里,两篇是声源分离与说话人提取(电动车内噪声、流式视听目标说话人提取),另有一篇音乐生成、一篇音乐驱动编舞、一篇演唱情感识别、一篇音频语言模型人格化、一篇手术器械视听定位、一篇语音增强,没有 TTS 或语音合成评估;D 线的 1 篇是微短剧剧本生成,属邻近跟踪。
站点给的中文摘要与 arXiv 原文有出入的地方,条目里一律按原文写,并在条末用「站内摘要出入」点出来,本期共 14 条。最多的两种情形仍是限定词被抹掉(一个结论只在一部分模型或一部分设置上成立),和百分点被写成百分比。
本期有五条判断值得先记住,理由与限定写在各自条目里。
harness 的问题现在能拆成两张评分表。 Trial by Trace 用 4 个 harness × 9 个模型 × 95 题跑 3,420 次:任务成功但至少违反一条 harness 判据的运行占 31.1%,两层判据全过的只有 8.4%,而 agent 层全过的有 39.5%。四家 harness 的平均分(macro)跨度是 12.2 个百分点,agent 任务成功率的跨度只有 8.2 个百分点——只看后者,看不出执行工具之间的差别。
同一个 harness 的名次会随模型翻转。 When Agents Fail 在 52,168 条轨迹上算出:Codex CLI 的 Fit 在 Qwen 上是 91.21、在 Kimi 上只有 60.45;ClawMark 上 Kimi 用 Codex 的有效完成率是 100.00%,平均分却只有 11.96。跑得完和做对是两件事,按分数选的 harness 与按可靠性选的 harness 也不是同一个。
判官整体准确率不能为一次比较背书。 一个合并 F1 到 .916 的自动评分器,放到 300 个同键配对上算差值,同一组提示效应,自动管线给出 +.093,参考评者是 +.023,区间 [−.059, +.053] 含零——这个幅度被高估到了四倍。同一批 2,250 条辅导对话只换打分口径,模型成功率从 42.1% 变成 81.3%,而管线信息带来的差异在统计上不成立。
「增益接近零」有相反两种含义。 技能退役如果只看「带技能与不带技能的差」,会把「已经学会」和「两者都做不到」判成同一件事:增益带规则在 844 个过门技能上移除了 57.5% 的还没学会状态,层级规则是 0%。而两者的基准得分差只有 −0.8 个百分点——所以这类规则的好坏根本不能看基准分。
长对话的崩是可以分轴测量的。 全双工语音模型在 40 次真人长对话回放里,出现重复的比例是 65%(Moshi)、出现长时间静音与无意义输出的比例都是 100%,而失败起点随缓存窗长线性推移(静音约 1.63W、无意义输出约 2.70W)。免重训修完之后重复率到 0%、静音到 7.5%。这套拆法——把退化拆成几条互不替代的曲线,再用右删失处理「还没崩就结束」的样本——在词句级的文本生成上有直接对应物,只是阈值要在文本上重标定。

全景表

前两个栏目各一张表,表内按档位排序:同一栏里先读精读,再扫值得读;标「邻近跟踪」的第三档,只在题目贴着你的活时才展开。语音与音频栏当天没有一篇达到门槛,只用一段话说明它为什么空着。

人工智能学术速递[10.26](收录 20 篇,新提交 55 篇)

档位标题与 arXiv这一篇在问什么关键数字来源
精读受测对象换成 harness:31.1% 的任务成功却违反了履约判据 · arXiv:2610.32285任务成败是模型与执行工具共同产生的,该怎么分别给两者打分并归因失败两层判据全过 8.4%(286/3,420),agent 层全过 39.5%,差额 31.1%官网
精读同一个 harness 的名次随模型翻转:Codex 在 Qwen 上 91.21、在 Kimi 上 60.45 · arXiv:2610.32483排行榜的分数把「模型不行」「不会用这个 harness」「harness 有限制」混成了一个数Cross-Model Fit:OpenCode 87.48、Pi CLI 77.13、Codex 73.62;Pi 与 Codex 差 3.50,区间跨零官网
精读只改投递方式,九个 agent 成功率全部下降:29.7%→26.0% · arXiv:2610.32429子代理结果在主代理改完文件之后才到,它能不能判断这条结果还有没有效DRS 最高 45.1(Claude Sonnet 5)、均值 32.6;Oracle 96.4–98.8 > Native 19.2–39.7 > Frozen 3.7–16.1官网
精读同一份反思:放进权重 65.5%、放进上下文 59.6%、基线 51.7% · arXiv:2610.31846agent 当场能修错,可跨会话就忘;教训该存在哪一层GAIA 55.8% 对 38.8%(+17.0 个百分点,p=3.50×10⁻⁸);pass³ 18.9% 对 9.7%官网
精读缓存重试报出 27 次「成功」,真正完成的只有 15 次 · arXiv:2610.31916授权已变、外部效果不确定时,恢复一个有关键后果的动作要判断什么账本对账 42/42 通过,其余策略 30–36/42;缓存重试 12 条重复派发超额官网
精读增益接近零有相反两种含义:层级规则移除非内化 0%、增益带移除 57.5% · arXiv:2610.32322技能库按模型退役技能时,该用什么判断「已经内化」层级规则移除已内化 77.1%(比增益带多 15.9 个百分点);基准得分差只有 −0.8 [−3.1, 1.7]官网
精读600 个任务流:63.17% 对记忆单用 59.83%、技能单用 50.50% · arXiv:2610.32295冻结模型下,记忆与技能能不能互相喂养,并让结果反过来调检索影响力换骨干仍为正(1.7B 13.50%→27.67%、GPT-4o-mini 28.33%→40.00%);关掉结果回流 59.67%官网
值得扫读成对反事实下 GO 走对 92%、NO-GO 只 19% · arXiv:2610.32305诊断已经算出「不该继续」时,agent 会不会停手NO-GO 19%([8, 30])对 GO 92%([86, 97]);加「允许停」后 23%→79%,GO 82%→67%官网
值得扫读只改工具输出的措辞,验证器 30/30 接受同一个假答案 · arXiv:2610.32110工具算得对但话说错了,agent 与验证器会不会一起被骗越界主张 100%→8%(+92 个百分点);ID 命名空间族只从 100% 到 94%官网
值得扫读记忆检索均值 55.1,叙事型召回却落后 3–11 分 · arXiv:2610.32752检索之后要不要再用图结构复核一次八列非加权均值 55.1(HippoRAG-v2 49.7);MH-DocQA 63.0 对 66.0、Detective QA 46.7 对 57.7官网
值得扫读58.8% 的轨迹至少越界帮一次忙,坑任务里 43.7% 造成伤害 · arXiv:2610.31985智能体出于好意绕过审批流程,会带来什么后果越界率 58.8%(95% CI [54, 63]);只限制请求方无效(伤害 44.7% 对 44.4%),限制动作范围才有效官网
值得扫读整段决策遗憾 1.80 对 11.16,而「给真值似然」只到 0.31 · arXiv:2610.32181「还要不要再查一次」能不能变成一个含成本的判定受控四域首决策遗憾 0.86/0.97/0.73/0.87(最强基线 4.39/4.03/3.40/4.43)官网
值得扫读能力库让 gpt-5.4 从 29% 到冷启动 67%、热启动 91% · arXiv:2610.31789一次任务的解法怎么沉淀成可复用、可验证的能力30 题;热启动每题 token 0.38M–0.40M 对单次基线 1.29M–1.47M官网
值得扫读12 个设置里 10 个成功率最高:学生历史配教师动作前缀 · arXiv:2610.31918智能体蒸馏该在历史层还是动作前缀层跟学生ToolQA 85.2(全学生 79.1,初始 19.8);全学生平均落后 10.2 个百分点官网
值得扫读叶子层复用让宿主 token 降 23.09%,代价挪到 1.7B 控制器 · arXiv:2610.32412递归 agent 里最高频的「把子任务翻成动作」能不能切出来复用配对成功集上 token 降 23.09%、调用降 22.54%;控制器每回合 6,900–9,952 token 未合计官网
邻近跟踪四基准平均 61.86%,课程从 0.18% 推到 61.86% · arXiv:2610.32308长程多步规划能不能收回模型内部,用后训练代替外部搜索同规模专用模型 19.03%,高 42.83 个百分点;最后一次策略优化 29.19%→61.86%官网
邻近跟踪142 笔成熟投资 ρ=0.451,无约束模型 0.381:差别在「只降不升」 · arXiv:2610.32380模型直接给分有三个病灶,能不能用代码把它关进笼子ρ=0.451 [0.317, 0.570]、减记 AUC₀=0.709;佐证率 45.8%,减记组 37.8%官网
邻近跟踪实机 409 炮、出束率 86.80%;同一实验台对人工 86.11% 对 83.83% · arXiv:2610.32370非平稳响应下,模型该被关在证据与动作两端的什么位置相邻动作的结局冲突率 54.7%,参数相同也有 44.1%;加检索后方向一致率提升 22.4–42.7 个百分点官网
邻近跟踪键分出 +53.3 个百分点,配平一个便宜变量后区间含零 · arXiv:2610.32620跨实例经验复用的「键」,能不能真的迁移到没见过的实例+53.3 个百分点 [+47.6, +57.9] → 配平后 +2.7 [−3.0, +8.3]官网
邻近跟踪技能库当冻结模型的外挂:114 个候选补丁只接受 10 个 · arXiv:2610.32481混淆集中在相邻标签对上,能不能用可插拔的成对技能去修总体准确率 46.80%→59.13%;但演化所在数据集 UAR 49.68 低于冻结 51.59官网

自然语言处理学术速递[10.26](收录 14 篇,新提交 72 篇)

档位标题与 arXiv这一篇在问什么关键数字来源
精读评分器整体 F1 .916,同一组提示效应它给 +.093、参考评者给 +.023 · arXiv:2610.31678要验的是「这次比较」而不是「这个评分器」同键 300 组:自动 +.093 对参考 +.023,区间 [−.059, +.053];翻转符号只需改 7 个标签官网
精读同一批 2,250 条对话只换打分口径:42.1% 变 81.3% · arXiv:2610.31679评测口径对结论的影响,是否大于任何建模杠杆差 39.2 个百分点(p<10⁻⁵⁰);管线信息六条件 GLMM p=0.263 不显著官网
精读单序 66%、双序 43%:位置偏差 23 个百分点 · arXiv:2610.32114让模型判「哪份提案更严谨」,它到底在按什么判both-orders 77.9% 对 per-order 86–88%;人类验证后分层 86%(95% CI 81–91)官网
精读冻结的记忆库掉到 13.5–14.9,活库守在 18.9–21.5 · arXiv:2610.31840跨会话的工具调用记忆该不该更新、淘汰、按用户隔离热身之后平均接受 token 19.96 对冻结 15.70(+27%);副作用门把不可逆执行压到 0 次(朴素投机 124 次)官网
精读能力边界:45.5% 对上一版 40.0%,随机选干预点 58.7%、结构化 65.9% · arXiv:2610.32802在线蒸馏该在哪里给指导,以及学生接不接得住ALFWorld 45.5±2.0(上一版 40.0±3.1、普通在线蒸馏 22.1±2.8);WebShop 58.3±1.5官网
精读40 次长对话回放:重复 65%→0%、静音 100%→7.5% · arXiv:2610.32349全双工语音模型能不能撑住几十分钟的对话,崩的时候按什么顺序崩失败起点随窗长线性:静音 1.63W、无意义输出 2.70W;只留第一个缓存条目即让 40/40 免于无意义输出官网
精读配音同时对上时长、停顿与口型:BLEU 42.34、停顿 IoU 0.551 · arXiv:2610.32042译文忠实、按时说完、对上口型,这三个约束能不能一起解ASR-BLEU 42.34(最强基线 38.44);停顿 IoU 0.551(0.307);主观自然度 3.99(3.54)官网
值得扫读目标选择 119/128、下游判断 24/128、整段动作 68/128 · arXiv:2610.31686激活干预让输出对了,模型在别的计算里真的用了那个条件吗下游判断与原生逐条 token 相同(24/128);使用端直接陈述条件时为 96/128官网
值得扫读120 题、11 学科、10 个模型:最高 80.9 分,一次 20.79 美元 · arXiv:2610.32441科研任务既算得对、又说得清、还跑得稳,能不能分渠道测出来最终分 80.9 对 67.3;Pass@0.95 26.0%;「报告强执行弱」占 0.14–0.48官网
值得扫读只给主题名,MMLU 37.5→47.7,但域外 MATH-500 退 4.9 · arXiv:2610.32770监督压到只剩主题名,模型还能不能自我改进平均 38.3→45.6;同数据做监督微调 40.0、GRPO 39.3;75% 错答注入下只掉 1.9 分官网
值得扫读一个 16M 适配器覆盖整条延迟前沿:32.5/34.8/35.6 · arXiv:2610.32214同传模型的「什么时候说」能不能在推理期调尺度 0.5 时 BLEU 34.4、延迟 2.16 秒;去掉语音正则后相似度 0.391→0.337官网
邻近跟踪闭卷复现 68.25%,改一个前提的外推题 74.42% 到 18.60% · arXiv:2610.32575研究级任务里「差一个子问题」有多普遍SAcc 88.33%–79.66% 对 WAcc 49.21%–68.25%;允许工具后 DeepSeek 与 Qwen 各 +20.93 个百分点官网
邻近跟踪五个分数里唯一没赢的是合规率:52.25% 对 62.01% · arXiv:2610.32435领域用户模拟器能不能既贴画像、又守业务合规困惑度 17.49(无画像 58.48);口语自然度 4.97 对 GPT-5 4.21官网
邻近跟踪60 集剧本套路重复 21.5%→14.6%,语义检索只召回 7/27 · arXiv:2610.32002长剧集越写越像,记忆该按相似度取还是按未来目标取逻辑均分 82.5 对 74.0;稠密检索与图检索都只命中 27 个关键子事件里的 7 个官网

语音与音频学术速递[10.26](收录 0 篇,新提交 8 篇)

8 篇新提交里没有 TTS 或语音合成评估:两篇声源分离(电动车内噪声、流式视听目标说话人提取)、一篇音乐生成(文本到 MIDI 的可控特征)、一篇音乐驱动编舞、一篇演唱情感识别、一篇音乐人格化的音频语言模型、一篇手术器械视听定位、一篇语音增强。它们与四条线的共有口径(合成质量、时长与停顿控制、评测指标)都不沾,按末节的理由全部排除。C 线的 3 篇改由自然语言处理栏的语音与音频内容承担。

一、模型还是 harness:把「谁该负责」变成可测的事

这一节四篇都在拆同一笔混账:一次长程任务的分数,是模型和包住它的执行工具一起产生的。
Trial by Trace 把原生 harness 当被测系统,用 3,420 次运行算出「任务成功但违反 harness 判据」占 31.1%;When Agents Fail 用 52,168 条轨迹证明同一个 harness 的名次会随模型翻转,Codex 在 Qwen 上 Fit 91.21、在 Kimi 上 60.45。
Async-RBench 换的是投递方式:同一批题、同一预算,只把子代理的结果改成异步到达,九个 agent 的任务成功率全部下降,总计 29.7%→26.0%。DMAIC-Bench 问的是另一个方向:当证据已经算出「不该继续」,agent 会不会停手——成对分叉上 GO 决策走对 92%、NO-GO 只 19%。1234
四篇放在一起读,能拼出一张归因表:分数低可能来自模型、来自 harness、来自这一对配对、来自调度时序,也可能来自「它根本不该继续却继续了」。前三种有评分表,第四种要靠成对反事实才测得出来。

1. 受测对象换成 harness:3,420 次运行里 31.1% 的任务成功却违反了自己的履约判据 · arXiv:2610.32285 · 精读

Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution · arXiv:2610.32285 · 精读
作者与机构:原文作者位只署团队名「TraceLite AI」,未列个人作者,第一作者单位无法确认。列出的参与机构有中科院自动化所/中关村学院、中科院信息工程研究所、清华大学、北京理工大学。
研究问题与核心方法:
现成的 agent 基准几乎都只问任务有没有完成。可一次长程任务的成败,是模型和 harness 共同产生的;只看结果分不清是哪一侧出的问题。
Trial by Trace 把原生 harness 本身当成被测系统。它按 harness 的机制分类拆出 7 个维度 95 道题:上下文 15、执行 27、治理 9、生命周期 19、可观测 7、工具 17、验证 1,覆盖 40 条机制级属性。
每道题有两张评分表。一张给 agent 的交付打分,一张给 harness 的履约打分;单次得分 S = 50·p_H/n_H + 50·p_A/n_A,只有 S=100 才算整体通过。
失败归因走三步。先把各家原生记录重构成统一的 Trace IR,保留 seq、timestamp、run_id 与原始事件溯源;再按判据从 agent 上下文、harness 记录、环境与工件里取证据包;最后用预先声明的机制链,把 harness 端失败与 agent 端失败连成候选链接,并区分「被激活」与「已证实传播」。
评测是 4 个 harness(Claude Code、Codex、DeepSeek Harness、OpenClaw)× 9 个模型 × 95 题,每格跑 1 次,共 3,420 次运行。1
关键结果:
  • Harness 侧 macro 最高 72.0%(OpenClaw),最低 59.8%(Codex),跨度 12.2 个百分点;同样四家里 agent 任务成功率的跨度只有 8.2 个百分点(35.8%→44.0%,各 855 个配对单元)。
  • 两层判据全过的运行只有 8.4%(286/3,420 次),agent 层全过有 39.5%(1,351 次)。两者相减,就是「任务成功但至少违反一条 harness 判据」的 31.1%。
  • 全过率按 harness 分:OpenClaw 11.7%、DeepSeek Harness 9.8%、Claude Code 9.1%、Codex 2.8%。
  • 条目层面,agent 判据通过率 74.8%(14,979/20,016),harness 判据 68.3%(19,242/28,188)。
  • Harness micro 上 Claude Code 与 OpenClaw 只差 0.4 个百分点(71.5 对 71.9),两者的 agent 成功率却差 5.8 个百分点(44.0 对 38.2)。micro 分不区分这两件事。1
证据与局限:3,420 次运行、95 题、4×9 的组合没有空格也没有插补,配对意义上完整。但每格只跑一次,原文自述「不估计格内重复性」,全篇点估计,没有显著性检验也没有区间。判官预算也不统一:4,096 token 跑了 1,966 次、8,192 token 1,452 次、32,000 token 2 次。
我的判断:31.1% 是整篇论证的支点,它同时受四份自写 harness 适配器与 rubric 宽严的影响,缺一次「同一 harness 换适配器重测」的信度研究。九个模型以报告组名出现(HY3、Opus 5 之类),原始模型标识原文称只保存在运行记录里,记录未见公开,外部核不到具体版本。
复现:原文正文说仓库链接见首页,但 arXiv HTML 首页没有给出地址,数据与脚本也未提供。能对齐的只有配置:Docker 内 wall-time 上限 120–5,400 秒,语义判官统一 deepseek-v4-flash。
与目标研究线的关系:三样可以直接搬。第一,双层评分表加 50/50 合成,并把 Clean 率与 agent 成功率并列报出来。第二,「成功但违约」的算法:先用 agent 判据取成功子集,再数其中违反 harness 义务的比例,用它量化只看结果留下的盲区。第三,归因的四级声明阶梯——判据裁定、确认缺陷、激活候选链接、验证传播;写归因报告时按这四级限定措辞,就不会把「机制可能被激活」写成「已证明是它导致的」。
来源:官网条目 · arXiv 原文
TraceTrial-Bench 四段流水线
图 2 把测量装置摊开:左侧按机制维度生成题目,中间在原生 harness 上执行并把各家记录重构成统一的 Trace IR,右侧取证据包再用机制链做归因。三层的分界就是「模型、harness、环境」的分界,也是这张基准与只报任务成功率的基准的区别(arXiv:2610.32285)。
站内摘要出入:无。

2. 同一个 harness 的名次会随模型翻转:Codex 在 Qwen 上 Fit 91.21、在 Kimi 上 60.45 · arXiv:2610.32483 · 精读

When Agents Fail: Model or Harness—Who's to Blame? · arXiv:2610.32483 · 精读
作者与机构:第一作者 Shao Zhang,单位为上海人工智能实验室,首页所列作者均署该机构。
研究问题与核心方法:
agentic 基准的分是「模型 × harness」的联合产物,可排行榜按固定配置报任务成功,把「模型不行」「模型不会用这个 harness」「harness 本身有限制」混进一个数。
作者给出五个互补度量。VCR(有效完成率)只看有没有正常终止并交出可评测结果,与对错无关;Model–Harness Fit 只在该模型有效完成的任务上计分,除以该模型在本基准上观测到的最好 harness 分;Cross-Model Fit 对模型取几何平均;交互残差是与「模型主效应 + harness 主效应」加性基线的偏差,单位百分点;Token Load 是含失败尝试的平均 token 消耗。
实验用统一 adapter,保留各 harness 的原生 prompt、观测与动作接口和执行循环,只对齐工具权限、资源预算与终止条件。4 个通用 harness(DeepAgents、OpenCode、Pi CLI、Codex CLI)× 4 个模型,另加两个固定原生参照,6 个第三方基准,每格重复 4 次。
全部材料是 111 个评测设置、52,168 条轨迹;跨基准汇总用「三模型 × 四 harness」的平衡面板,第四个模型因缺多模态只进了两个基准。2
关键结果:
  • Cross-Model Fit:OpenCode 87.48(95% CI [84.06, 89.99])、Pi CLI 77.13、Codex CLI 73.62、DeepAgents 64.20。
  • Codex CLI 的 Fit 在 Qwen 上 91.21、在 Kimi 上 60.45,差 30.76 分。同一个 harness,名次随模型翻转。
  • Pi CLI 与 Codex CLI 的 Cross-Model Fit 只差 3.50 分,成对 bootstrap 区间 [−0.26, 7.05],跨零。
  • ClawMark 上 Kimi 用 Codex 的 VCR 是 100.00%,平均分只有 11.96;用 OpenCode 的 VCR 88.00%,平均分 70.36。跑得完不等于做对。
  • 严格动作落实缺口占受影响尝试的 6.75% [4.50, 9.25](Codex)与 40.50% [36.25, 44.75](Pi),OpenCode 与 DeepAgents 为 0.00%(Kimi × ClawMark,每 harness 400 次尝试)。
  • Token Load 的均值在 90 个完整覆盖单元里有 89 个高于中位数;Qwen–Pi 的 SWE 运行中,最贵的 5% 消耗了该配置约 83% 的 token。
  • 联合分与官方分在 72 个基准级单元里 37 个相同、35 个被下调。MiniMax 的 SWE-bench-45 上,DeepAgents 从 31.11 降到 25.56,Codex 的 30.56 不变,两家次序因此对调。2
证据与局限:这是本期外部效度最强的一篇:六个基准都是别人的,4×4 完整交叉加两个原生参照,报告点对点 95% 成对任务聚类 bootstrap,还做了粒度占优、留一模型、留一基准的敏感性检查。
弱点也清楚。区间是 pointwise,没做多重比较校正;一致性结论集中在「OpenCode 第一」,中间名次不稳,留一基准就能让 Codex 掉到 DeepAgents 之下。52k 条轨迹里多数重复来自 4 次重采样,任务多样性并没有同比例增加。
我判断 VCR 的「有效完成」判定依赖作者自写 adapter 的终止与交接信号,这层定义一变,91.3%–94.0% 这类高 VCR 会整体平移。所谓「谁该负责」仍停在配对残差层面,没有对 harness 机制做消融。
复现:原文未提供数据或脚本链接,只引用被评测工具与模型的官方仓库(openai/codex、deepseek-ai/deepseek-harness)。成本按标准价目表估算,不是真实账单。
与目标研究线的关系:这是本批最可直接照抄的评测口径。VCR 把「跑完并交出可评测结果」与「答对」解耦;Fit 只在有效完成上计分,并以该模型的最优 harness 为参照;交互残差用百分点表达「这对配对特有」的优势。再加 Best-of-4 与 Mean-of-4 的差、以及最贵 5% 的 token 占比,一次长程评测的分数、可靠性与成本可以同时报出而不互相掩盖。
来源:官网条目 · arXiv 原文
任务表现与有效完成率两轴散点
图 3 把三个模型各自画在一张「任务表现 × 有效完成率」的散点上。同一个配对在两个轴上位置不同:按分数选的 harness 和按可靠性选的 harness 不是同一个(arXiv:2610.32483)。
站内摘要出入:无。

3. 只改投递方式,九个 agent 的任务成功率全部下降:29.7%→26.0% · arXiv:2610.32429 · 精读

Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents · arXiv:2610.32429 · 精读
作者与机构:第一作者 Detao Zeng,单位为电子科技大学,通讯作者 Junming Shao、Zhong Zhang。
研究问题与核心方法:
主 agent 派出的子任务并行跑,结果可能是在主 agent 已经改过文件、跑过验证之后才回来。这时它要判断这条结果还有没有效、影响哪些已完成的工作、哪些检查必须重做。
最终成功率看不出这些判断的对错,而自然到达的时序又无法复现。Async-RBench 的做法是把投递做成可控的。
200 个可执行任务从 Terminal-Bench、Gaia2、OSWorld、SWE-bench、MultiAgentBench 各取 40 个改造,均分到 8 个场景(各 25 题,621 个初始子任务)。子代理在隔离工作区并发执行,controller 按公开要求核验提交,再按任务状态相关的释放条件缓冲投递,并设最长持有时间兜底以免死锁。
每个目标事件配一份只有评测方看得见的 Event Response Contract,五元组是:必须改动、必须保留、禁止改动、必须复验、终局条件。
Dynamic Replanning Score 把过程分与结果分各半合成,与任务成功率分开报。九个 agent、主副同模型、两种投递模式各跑 3 次 × 200 题。3
关键结果:
  • 总体 DRS 45.1(Claude Sonnet 5),最低 19.2(Gemini 3 Flash High),九家均值 32.6。
  • 场景均值最低 8.6(重复与重放)与 12.2(子代理失败),最高 60.7(资源落后)与 57.5(范围与依赖)。
  • DRS 的三档验证拉得开:Oracle 96.4–98.8 > Native 19.2–39.7 > Frozen 3.7–16.1,同一事件前状态、同一契约。
  • 任务成功率 26.0%,批量投递 29.7%,差 −3.7 个百分点;九个 agent 全为负,单家降幅 −1.0 到 −6.0 个百分点。
  • 「全量重建」提示只能把 DRS 抬 2.6–3.5 点(Terra 39.7→42.3、Luna 31.1→34.6、Gemini 19.2→21.9),模型调用数却增加 7.5%–10.2%。
  • 验证器与人工评审在 96.6% 的评分点上一致(随机抽 405 次运行做初始审计,分歧全部归到基础设施故障)。
  • 调用数从 48.1(Terra,DRS 39.7)到 125.2(Kimi K2.5,DRS 26.1):调得多不等于判得对。3
证据与局限:每题每模式三次重复,每场景报三次重复级均值的标准差;Oracle/Frozen/Native 三档对照证明 DRS 确实在测「有没有用上新信息」;405 次人工审计给出 96.6% 的评分点一致率。被评对象是别家的 agent,不是作者自己的方法。
任务成功率只有点估计,原文限定在「本文的投递协议下」。每场景 25 题且来源基准不同,8.6 与 60.7 之间混着任务难度差,原文也承认不能据此断定「保留有效工作」是主要难点。每个任务只隔离一个目标事件,DRS 把「结果到达前就结束」的有效运行记 0,与响应错误混在一起。
复现:项目页 [https://pope8zdt.[github.io/Async-RBench](https://pope8zdt.github.io/Async-RBench)](https://github.io/Async-RBench](https://pope8zdt.github.io/Async-RBench)) (摘要脚注)。关键配置:单次上限 100 次主 agent 响应、每次 16,384 输出 token、2,400 秒。
与目标研究线的关系:「事件级契约 + 过程与结果各半」可以搬到任何长程 agent 的中间产物质检——那份五元组就是一张可执行的验收单:改什么、保什么、禁什么、复验什么、终局是什么。
更值得抄的是它的验证手法:在同一事件前状态上跑 Oracle/Frozen/Native 三档,如果 Native 与 Frozen 拉不开,说明评分没测到「是否用了新信息」。异步与批量的同题同预算对照,则是隔离调度因素的最小实验设计。
来源:官网条目 · arXiv 原文
主代理、子代理工作区与投递规则
图 2 画的是测量装置本身:主 agent 与三个子代理各自的工作区、controller「B 和 C 先完成也要等 A」的投递规则、以及底部把五元组合成 DRS 的算式。异步评测的难点全在这张图的投递时序里,而不在任务本身(arXiv:2610.32429)。
站内摘要出入:无。

4. 成对反事实下 GO 走对 92%、NO-GO 只有 19%,而「允许停」把 NO-GO 抬到 79% 又把 GO 拉低 15 个百分点 · arXiv:2610.32305 · 值得扫读

DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks · arXiv:2610.32305 · 值得扫读
作者与机构:第一作者 Shan Peng,署名单位为矽基科技(广州)与香港科技大学(广州),通讯作者 Jia Li。
研究问题与核心方法:
多阶段分析任务里,agent 常常先算出中间诊断——比如量具 R&R 不合格、过程不稳定——然后照样往下做。「自我反思」类方法只测它会不会批评自己,没测它会不会因此停手。作者把这件事叫 self-restraint。
基准以精益六西格玛的统计前提为骨架:15 个工业案例、97 个人工播种任务、175 个节点,跨 4 个行业、5 个阶段、29 种方法。每个案例是一张带守卫的有向图,守卫用 MSA-4 之类的硬阈值(如 SV_gauge ≤ 0.30 且 ndc ≥ 5)。
66 个评分分叉里有 40 个配了成对反事实实例:同一工作流位置,只换种子数据就让诊断翻转。这样「该停就停」和「一律拒答」才能分开。一次完整 episode 有 300 个评分决策,52 个 NO-GO 加 248 个 GO。
agent 在无网容器里通过共享 harness 执行,data steward 只提供四类操作并校验前提,从不接触私有真值。13 个模型、6 家供应商,每模型每任务 3 次。4
关键结果:
  • 成对分叉上 GO 决策走对 92%(95% 区间 [86, 97]),NO-GO 只 19%([8, 30]),差 73 个百分点([59, 87],按案例聚类 bootstrap)。
  • 单模型单次看:NO-GO 准确率 10%–25%,GO 准确率 70%–82%(Plain 指令,attempt 1)。
  • 三次尝试平均奖励 0.379(Qwen3.8-flash)到 0.662(GPT-6-astra)。
  • 272 个「已上报且经核验的守卫取值」的 NO-GO 决策里,201 个仍走错路线;其中 174 个是诊断先出现在轨迹里、随后才做被禁止的分析。
  • 加一句「允许停」:GPT-6-astra 的 NO-GO 从 23% 升到 79%(+56 个百分点),GO 从 82% 掉到 67%(−15 个百分点);13 个 agent 里仍有 12 个 NO-GO 低于 50%。
  • 预注册复现(32 对任务、5 个条件、960 次试验):许可让 Astra 的正确成对分叉从 2.3 升到 10.0(共 16);规范性提示把 DeepSeek 的 NO-GO 抬到 44%(+25 个百分点),代价是 Astra 的 GO 掉 42 个百分点。
  • 方法召回 0.919–1.000:分析步骤大多会做,问题出在做完之后那一步。4
证据与局限:13 个模型、97 任务、3 次尝试、每个 episode 300 个评分决策,配对设计能排除任务难度的混淆;报告层面另有 60 单元盲评(专家确认 39/40 个 NO-GO 与 16/20 个 GO 的标签),还有一次 960 次试验的预注册复现。
局限是自建基准加自建评分器,附录记了 9 个评分器缺陷;专家审计只覆盖抽样检查点;原文明确说这不是 held-out 评测、也不是厂商排名。生命科学部分只有 2 个域 3 个 agent,属试点。
我判断没有守卫拦住的那部分 NO-GO 任务允许 agent 直接拿到数据,「知道不该算却仍算」与「环境没拦住」是两种失败,现在混在同一个指标里。
复现:https://github.com/psptpx/DMAIC-Bench-public 。执行环是 Harbor 0.22.0 的 Terminal-Bench 环,每模型每任务 3 次。
与目标研究线的关系:最可移植的是「成对反事实种子」——同一工作流位置只改数据让诊断翻转,就能把「该停」与「不肯停」拆开,避免把保守当正确。
其次是双通道判错:执行轨迹里做被禁止的下游计算,即使报告隐去也算路线错误。再次是干预的验收标准:任何提升停止率的干预都必须同时守住 GO 准确率,文中两次提示干预正是按这个标准两败俱伤。
来源:官网条目 · arXiv 原文
带守卫的决策图与双通道计分
图 2 分三段:左侧是带守卫与私有关卡的决策图,中间是沙箱里 data steward 按前提拦放数据批次,右侧是私有评测器把「前提失败后仍计算」标成路线错误、把合法改道标成有效。执行计分与报告审计的分工,就落在这三段之间(arXiv:2610.32305)。
站内摘要出入:有出入。站内写「通过工业及生命科学任务测试 13 个模型」,原文 13 个模型只覆盖 97 个工业任务,生命科学 16 题只测了 3 个模型。

二、评测口径:判官准不准,和这次比较成不成立是两件事

这一节七篇讲的都是「分数是怎么来的」,而不是「模型有多强」。
最有说服力的一组对照来自 Validating the Comparison:同一个自动评分器,只看整体 F1 是 .916,看起来足够可信;可把它放到 300 个同键配对上算差值,同一组提示效应,自动管线给出 +.093,参考评者是 +.023,区间 [−.059, +.053] 含零——这个幅度被高估到了四倍。
MisconceptDialogue 把这层差距推到极端:同一批 2,250 条辅导对话,只换打分口径,模型平均成功率从 42.1% 变成 81.3%。Tampered ML 则换了方向,用 1,858 对「只注入一个缺陷」的提案测模型能不能判出方法学问题,顺带量出了位置偏差有多大。
后四篇各自处理一种更细的失真。Who Verifies the Tools 证明工具「话说得不对」能让验证器 30/30 接受假答案;审计残差干预那篇把「选对目标」与「整段动作做对」拆成 119/128 与 68/128;SCI-AGENT-Exam 用程序化与 rubric 两条渠道把「报告写得漂亮但没真跑」量成 0.14–0.48;PHYRD 用「只改一个前提」的外推题把复现与迁移分开。567891011

5. 评分器整体 F1 .916,同一组提示效应它给 +.093、参考评者给 +.023 · arXiv:2610.31678 · 精读

Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation · arXiv:2610.31678 · 精读
作者与机构:Ancil Crayton,Booz Allen Hamilton(首页唯一标注单位)。
研究问题与核心方法:
交互式 LLM 研究习惯用一个整体 accuracy 或 F1 验证自动评分器。可论文真正要报的是两个提示臂之间的差值。
当评分器在两臂上的假阳性和假阴性不对称,整体 F1 可以很高,差值却被放大、缩小甚至反号。作者要验的不是评分器,而是那一次比较本身。
方法是一套三层审计。550 条硬样本压力审计、288 条均衡代表审计(6 个提示臂各 48 条,每臂每模型 8 条)、以及 300 个「模型–条目配对 key」的同键审计——同一模型同一题的四臂回答由两名独立 LLM 评者盲标,再只在同键上算自动管线与参考评者的差值。
理论部分把逐臂签名偏差写成 b_j=E[Ỹ−Y|A=j],对比误差就是 b_a−b_c。最后落成四道闸门——构念、观测、可迁移、同键——与 retain/qualify/reject/quarantine 四选一。5
关键结果:
  • 合并 F1 .916,但逐臂假阳性率跨度 .026–.333(288 条均衡代表审计,主评 Mistral Large 3 2512)。
  • 同键 300 组上,Certainty-only 减 Neutral:自动管线 +.093,参考评者 +.023,item-clustered 95% 区间 [−.059, +.053],含零。
  • Confidence 减 Neutral:自动 +.113、参考 +.070,区间 [+.001, +.112];Confidence 减 Existence×Directness:自动 −.163、参考 −.167,区间 [−.207, −.081]。
  • 翻转某组对比的符号只需要改 7 个标签(另两组分别需要 21 个与 50 个);把每臂 ±5 个百分点的流行率误差算进去,只有第三组保住符号。
  • 换抽样就能推倒结论:硬样本压力审计的合并 F1 是 .669,代表审计是 .916;路由片 264/550 条(48.0%)的 F1 只有 .545。
  • 两名评者在 1,200 条臂标签上不一致 57 条(4.75%),逐臂 1.7%–6.7%。5
证据与局限:核心结论建立在同键配对与逐臂混淆矩阵上,有 item-clustered bootstrap 与 Fisher/χ²/CR1 检验,比报一个 F1 硬得多。
但审计每臂只有 48 条、每模型 8 条,Wilson 区间宽且大量重叠,作者自己标为 exploratory(omnibus p=.1052)。两名「参考评者」都是 LLM,没有人类真值;被审计的管线与基准都出自作者自己。
我判断四道闸门可以照搬,但文中所有阈值(ε、±5 点误差预算、样本量规划)都是示例,不是标定值;直接套用会把大部分对比判成 quarantine。另外全部数值都相对「Mistral Large 3 2512 当主评」这一个选择,换主评后 .916 与 .023 都会变。
复现:https://anonymous.4open.science/r/scorer-validity-53E8/ (含数据、代码、prompt、元数据与随机种子)。
与目标研究线的关系:把「评分器校准」升级成「对照校准」——只在同键上算 d̂=Δ̂_auto−Δ̂_ref,而不是报 pooled F1。
附录里那张九项「对比卡」可以直接当内部评测清单:结局与正类、提示原文与配对键、目标总体与权重、管线版本、抽样种子、逐臂逐路由混淆矩阵、同键两套效应、双评者一致性、最终判定与禁止外推项。
来源:官网条目 · arXiv 原文
两种审计抽样下的逐臂精确率
图 2 把同一批提示臂画在「硬样本富集」与「均衡代表」两种抽样下:精确率点位与 95% Wilson 区间整体平移,而且大量重叠。同一个评分器的「准确率」会随审计抽样设计而变,因此它无法为任何跨臂差值背书(arXiv:2610.31678)。
站内摘要出入:无。

6. 同一批 2,250 条对话,只换打分口径:42.1% 变 81.3% · arXiv:2610.31679 · 精读

MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring · arXiv:2610.31679 · 精读
作者与机构:第一作者 Woojin Lee(韩国电子通信研究院 ETRI),共同一作 Yoonkyu Woo、Jinah Kim(韩国科学技术联合大学院),通讯作者 Jin-Xia Huang(ETRI)。
研究问题与核心方法:
现有数学辅导基准只测单阶段:BEA 2025 测错误识别,EEDI 测错因分类,detect→diagnose→remediate 的完整多轮管线几乎没被端到端评过。而数学 NLP 里惯用的 exact match 与「学生到底有没有被教会」不是同一个构念。
作者要证明后者对结论的影响大于任何建模杠杆,做法是固定生成物、只换度量。
管线是全自动的:5 个 7B–14B 开源辅导模型加 GPT-5-mini 扮演的模拟学生,累计 5,000 多段对话。四组实验分别是检测、诊断(55 类闭集、220 条)、补救(5 策略 × 3 类型 × 30 场景,每模型 450 条,共 2,250 条)和渐进 oracle 消融(3,180 条)。
关键设计在第三组:同一批 2,250 条对话,同时用 strict match、数值抽取、LLM-as-judge 三种口径打分。另设错诊断控制——保持错因类型不变、只换标签,看模型是否真在用被给的信息。6
关键结果:
  • 模型平均成功率:strict match 42.1%、数值抽取 45.8%、人工校准的 LLM 判官 81.3%,差 39.2 个百分点(McNemar χ²=765.7,p<10⁻⁵⁰,95% bootstrap 区间 [36.6, 41.8])。
  • 逐模型 40.2%–44.4%(strict)对 77.8%–84.4%(判官),五个模型方向一致。
  • strict 失败但判官通过的对话 949 条,占 42.2%;其中 727 条连数值都对不上,属超出表面匹配的理解判定。
  • 人工锚:clean 子集人工一致率 88%、判官 89%(κ=.853),strict match 只有 52%(κ=.175);borderline 子集 75% 对 73%。
  • 管线信息几乎没有效应:六条件 RSR 从 76.6% 到 81.3%,GLMM p=0.263,Holm 校正后成对 p=1.000。
  • 错诊断控制的 RSR 80.8%,金标诊断是 76.6%(McNemar p=0.078),三个判官给出的差值是 +3.2/+3.4/+4.2 个百分点——模型基本没在用诊断信息。
  • 类型效应明显:概念型 89.9% > 程序型 80.9% > 事实型 73.2%(p<10⁻³⁰)。6
证据与局限:2,250 条同批对话做配对口径比较,3,180 条做消融,5 个 tutor 加 2 个跨厂商复现,4 个判官跨 3 厂商,200 条人工双分层,McNemar、GLMM、TOST、bootstrap 齐全,还报了 ICC 与功效(对 ≥7 个百分点有 80% 功效,对 5 个点只有 56%)。
弱点在人工锚本身:标注者之间 κ 只有 0.51/0.55,等于用一份中等一致性的人共识去锚判官。47% 的场景由 GPT-5.4 生成,默认判官又属同一家族,作者自列为 in-family 风险。第三组每格只有 30 条。
我判断 39.2 个百分点比的是「答案串匹配」与「理解判定」,适合作口径敏感度的上界,不能读成「基准把辅导效果低估了 39 个点」。
复现:原文未提供代码或数据,只给了 Qwen3.5-9B 的模型页。
与目标研究线的关系:最值钱的是第三组的正交化设计——固定生成物、只换口径,把「口径效应」与「模型行为」彻底分开。任何想验「你的评测是否可信」的选题都能照抄这个骨架。
「错诊断控制」也可以原样移植:保持类别不变只换标签,用来测模型是否真在用被给的信息。这套控制搬到检索评测就是「换掉无关文档看分数掉不掉」,搬到工具评测就是「换掉工具返回看结论变不变」。
来源:官网条目 · arXiv 原文
三种口径下的成功率
图 1 三块:检测—诊断—补救—验证的管线,四种管线信息干预与「同类型换诊断」控制,以及同一批 2,250 条对话在三种口径下得到的 42.1%/45.8%/81.3%。第三块是全文的论点所在(arXiv:2610.31679)。
站内摘要出入:无。站内把「人工校准的 LLM 判官」简写成「人工评判」,方向一致,不构成冲突。

7. 单序 66%、双序 43%:位置偏差 23 个百分点 · arXiv:2610.32114 · 精读

Tampered ML: Evaluating LLM Judgment of Machine Learning Research · arXiv:2610.32114 · 精读
作者与机构:第一作者 Soroush Ebadian(Anthropic Fellows Program),Parand A. Alamdari(多伦多大学),Joe Benton、Hailey Joren(Anthropic)。
研究问题与核心方法:
自动化的对齐研究要求系统能指出提案里的方法学缺陷。可「哪个提案更严谨」没有明确真值,评审又贵。
作者改为构造受控对照:从已发表论文重建实验提案,再用最小编辑注入单一缺陷,得到一对可判定的提案。
材料来自 NeurIPS/ICML/ICLR 2024–2026 的 oral 与 spotlight。四段管线:抽取研究上下文与实验提案、审计改写的事实忠实性、注入单一缺陷、过五道闸门入库(篡改须真偏离原文、两实验非等价、条目自足、无泄漏)。
最终 1,858 个 item-pair,来自 981 篇论文。每项在两种呈现顺序下各问一次,分别报 per-order(随机 50%)与 both-orders(两序都对才算对)。另有诊断 scaffold、pointwise 打分与「运气审计」——回读模型只对一序时的理由,分三档判它是真识别了缺陷还是蒙对。7
关键结果:
  • both-orders 准确率 77.9%(Opus 5、max effort、1,858 item);per-order 86%–88%。
  • Opus 4.6 的 per-order 约 66%,both-orders 43%:23 个百分点的落差全来自两序不一致,也就是位置偏差。
  • 位置还改变了推理过程:原始提案放第二位时,Opus 5 有 33.5% 的 item 出现「第二序思考链明显更长」,长度几何均值比 3.42×;Opus 4.7 是 47.1%/2.53×。
  • 人类验证:210 条里 166 条有效(79%),后分层估计 86%(95% CI 81–91);最难层(三个强模型都错)只有 52/79。
  • 运气审计:只对一序的 8,781 个 model–item cell 里,85.5% 的理由被判定确实命中了隐藏缺陷;Opus 4.6 92.0%、Haiku 4.5 75.7%。
  • pointwise 比 pairwise 低 4–19 个百分点,两种协议的逐项 Spearman 只有 0.17–0.26:排行榜分数代表不了单件判断。7
证据与局限:1,858 item、981 篇论文、22 个模型配置,两种顺序逐项测、paper-cluster bootstrap,规模与设计都硬;运气审计还换了判官做稳健性检查。
人类验证是薄弱环节:每条只有一个验证人,样本刻意过采「强模型也错」的困难项,所以 86% 是后分层估计,原始 79% 才是保守值。构造与判题都依赖 LLM,源论文只取 oral 与 spotlight(写得更清楚,缺陷也更好发现)。
我判断 77.9% 与 43% 必须同时报——both-orders 把「判得对」和「两序一致」压进了一个数。另外「有效性 86%」证明的是「篡改版确实更差」,不等于「原始版优于任何替代设计」。
复现:https://github.com/tamperedml/tamperedml (公开子集;构造管线不发布;数据带 canary 禁止用于训练)。
与目标研究线的关系:三件可搬。第一,「最小编辑 + 单一缺陷 + 双顺序呈现」的构造模板,both-orders 与 per-order 的落差就是现成的位置偏差探针,任何 pairwise 判官评测都能加这一项。第二,运气审计——不要只看选没选对,要回读理由分三档,才能区分真识别与蒙对。第三,pointwise 与 pairwise 的系统性落差本身就是一个结论:分数不能跨协议搬运。
来源:官网条目 · arXiv 原文
本篇未取到可用的论文原图:arXiv 无 HTML 版,图只在 PDF 里,没有可直链的图片地址。
站内摘要出入:无。

8. 只改工具输出的措辞,验证器 30/30 接受同一个假答案 · arXiv:2610.32110 · 值得扫读

Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers · arXiv:2610.32110 · 值得扫读
作者与机构:原文首页未标注机构,只给出作者邮箱。
研究问题与核心方法:
agent 和验证器都只能读工具「打印出来的话」。工具算得对,但 formatter 漏掉了搜索上限、结果截断、估算标记或 ID 命名空间,agent 就会用真句子得出错结论;验证器同样没有数据库权限,察觉不到。
作者要问:只改 formatter 的文字、工具结果一字不动,agent 的主张与验证器的裁决会不会变。
素材是从一个真实部署的档案检索系统(17,807 份文档)审计出的四类缺陷:覆盖范围夸大、结果被截断却说成总数、比例估算的页码不带估算标记、文档 ID 与扫描件 ID 混用(17,807 个文档 ID 里除两个外都是别的条目的合法扫描 ID)。
共构造 40 个 case,每族 10 个,8 个用于调参、32 个 holdout。两条件只差渲染文字:warped 是生产中真实用过的写法,clear 是同样的结果加披露加处理指令,两版文字按哈希冻结。8
关键结果:
  • 覆盖范围越界主张率 120/120=100% → 9/120=8%(+92 个百分点,95% cluster bootstrap [+80, +100])。
  • 结果截断:62% → 0%(+62 个百分点 [+46, +78])。
  • 估算标记:100% → 20%(+80 个百分点 [+73, +87])。
  • ID 命名空间只从 100% 降到 94%(+6 个百分点 [+2, +11])——说清楚修不好这一族,clear 条件下只有 7/120 正确回答「输出里没有 scan ID」。
  • 验证器侧用「同一个假答案、只换渲染文字」的固定答案测量:前三族各 30/30 的接受全部翻成 0/30;命名空间族只从 60% 降到 47%。
  • 2×2 对照:问「是否被支持」且只给工具输出时,96% 判接受;问「是否正确」且给出已核实事实时,0% 判接受。
  • 双判官在 1,199 条上一致 96%(人工仲裁 53 条)。8
证据与局限:因果那一层很硬——固定答案条件下只改渲染,90/90 的翻转不可能由答案差异解释,还有 cluster bootstrap 与一个确定性披露检查器(40/40 warped 判为缺披露、0/40 clear 误报)。
局限也明确:case 是从已知故障里对抗性挑的,不能用来估缺陷发生率;只测 3 个模型族、单一生产系统,harness 还剥夺了工具循环与生产 system prompt;clear 条件把披露与行为指令捆在一起,分不开是哪一项起作用。
我判断真正能搬走的是「同一答案、两种渲染」这个配对设计,而不是某个比率。命名空间族只 +6 个百分点,恰好是最有价值的一句:说清楚修不了所有缺陷,标识符冲突得靠类型或校验强制。
复现:https://github.com/williamcodes/who-verifies-the-tools (实验代码、冻结 case、claim 表、prompt 与人工裁决);两个上游修复 PR 已提交,其中一个已合并。
与目标研究线的关系:四项披露清单可以直接当工具输出的 code review checklist:实际搜了什么及上限、结果有没有被截断、派生值是否标注估算、标识符属于哪个命名空间。
那套 2×2 对照也值得抄——问「是否被支持」还是「是否正确」、只给工具输出还是给已核实事实,用来诊断验证器失败的原因是「没证据」还是「没被要求」。
来源:官网条目 · arXiv 原文
四族缺陷在两种措辞下的越界主张率
图 3 把四个缺陷族的 warped 与 repaired 两版配对连线:三族从 100%/62%/100% 跌到 8%/0%/20%,命名空间族几乎不动(100%→94%)。一张图同时给出「修复有效」和「修复有边界」(arXiv:2610.32110)。
站内摘要出入:有出入。站内写「修正格式细节可减少错误主张」未加限定;原文只有三族大幅下降,命名空间族仅 +6 个百分点,作者明确写该族「clear wording could not repair」。

9. 目标选择 119/128,下游判断 24/128,整段动作 68/128 · arXiv:2610.31686 · 值得扫读

From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models · arXiv:2610.31686 · 值得扫读
作者与机构:第一作者 Tianda Sun(约克大学);第二作者的机构栏在原文首页被填成了仓库链接,未给机构名。
研究问题与核心方法:
激活干预能让模型输出目标答案,但这不等于模型在别的计算里也复用了那个条件。现有工作报告「控制成功」就结束,没有把「选对目标」「对条件敏感的判断」「完整动作正确」分开测。
作者冻结 Qwen3.5-27B,为每个世界、条件方向、监督臂学一个 5,120 维加性残差向量,写在初始动作里候选 ID 的共享 token 上、第 60 层输出之后,只影响 61–63 层产生的交接状态。
共 32 个新世界 × 2 方向 × 2 监督臂 = 128 个向量。评测分两族菜单:Anchor 是训练见过的选择界面,Cross 保持界面但把事实与 ID 交叉重组,使源训练 ID、A 现胜者、B 现胜者三者互不相同。
消费者独立重启同一份交接状态,回答三类问题:完整工具调用、条件变化时真值会变的布尔判断、真值不变的判断。另设两个能力对照:在使用端直接陈述目标条件、从头构造目标历史。9
关键结果:
  • Anchor 菜单上目标选择 119/128(原生只有 35/128,world-clustered 增益 65.63 个百分点,99% 区间 [57.03, 74.22])。
  • 换成 Cross 菜单,同一批向量只有 30/128(原生 37/128);训练里见过的旧 ID 复现 33/128(原生 6/128)。
  • 完整动作正确只有 68/128(另一臂 64/128)——远低于目标选择的 119/128。
  • 下游布尔判断 24/128,与原生逐条 token 完全相同;而使用端直接陈述条件时是 96/128,从头构造历史时 103/128。
  • 胜者验证增益 −1.17 到 0 个百分点,而同一模型同一候选的原始选择增益是 57.42–62.50 个百分点。
  • 事后只看「8 个训练目标全部拟合」的子集,Cross 正确数仍从 37 降到 25(/88),旧 ID 从 4 升到 24。9
证据与局限:单模型 × 32 个世界 × 128 个向量,五个预注册对比、10 万次联合分层 bootstrap、99% 分位区间,优化失败的方向也全部保留不剔除,统计纪律相当好。
局限是单模型、程序化任务、写入向量有特权监督、Anchor 菜单训练时见过;两类补丁在 donor 访问、token 支持与深度上同时不同,深度比较无法唯一定位语义表征。
我判断最有说服力的正是那个「逐条 token 相同」的零增益:它说明变化停在输出词汇层。这个结论强于「所有激活干预都如此」,因为作者没测开放式生成。
复现:https://github.com/TiandaSun/residual-condition-reuse (冻结任务定义、已评分结果、统计脚本;不含 GPU 张量与推理驱动)。
与目标研究线的关系:这套「三段验收」可以直接搬。先用训练见过与事实重组的同任务对照,区分「学会条件」与「记住被奖励的 ID」;再用独立的布尔判断测编辑过的状态有没有被复用;最后看完整动作能不能做对。
核心教训一句话:任何「提升 X 正确率」的结论,都要问清 X 是目标字段、下游判断还是完整动作——这篇里是 119/128、24/128、68/128 三个完全不同的数。
来源:官网条目 · arXiv 原文
本篇未取到可用的论文原图:图 1–5 在 arXiv HTML 里都是内联矢量绘制,页面里没有可直链的图片地址。
站内摘要出入:无。

10. 120 题、11 学科、10 个模型:最高 80.9 分,一次 20.79 美元 · arXiv:2610.32441 · 值得扫读

SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks · arXiv:2610.32441 · 值得扫读
作者与机构:第一作者 Tianyun Zhong;原文列出七家参与机构(中国科学院大学、中科院软件所、阿里巴巴 AI Data 与 Qwen Team、浙江大学、香港科技大学、清华大学),未做逐人对应,脚注说明部分工作为在阿里巴巴实习期间完成。
研究问题与核心方法:
现成的科学 agent 基准要么只覆盖少数科研活动,要么只收一种交付物。只看最终答案分,也看不出执行效率与解的稳定性。
作者按科研工作流把任务分成 7 类:文献综合、假设验证、工具编排、代码生成、端到端分析、错误诊断、结果解读。120 个专家撰写任务分布在 11 个学科。
每个任务是一份可执行包:指令、可见工作区、隐藏输入、参考解、加权检查项与 rubric。写作与评审由不同专家承担,参考解须在自己 rubric 上达到 90% 作校准,评审一致性设 85% 门槛。
评分走两路:约 8 个程序化检查在隐藏输入上重跑代码,约 20 条 LLM rubric 由 GPT-5.6 Sol 打分,两者按任务类型加权合成,并始终并列报出。10 个模型统一用 Claude Code、最高推理档,每题独立跑 3 次。10
关键结果:
  • 最终分最高 80.9 ± 1.7(GPT-6 Astra),第二名 Claude Fable 5 是 67.3 ± 2.0,差 13.6 分。
  • Pass@0.95 只有 26.0%(GPT-6 Astra),Claude Fable 5 是 9.7%,DeepSeek-V4-Pro 1.9%。
  • 两条渠道的跨度不同:程序化 44.8–77.7,rubric 57.4–85.3,最终 50.9–80.9。
  • 「报告强但执行弱」占 0.14–0.48:GPT-6 Astra 最好(0.14),DeepSeek-V4-Pro 最差(0.48)。
  • 同一模型换 harness 的分差可达 20 分:Kimi K3 69.9(claude-code)对 54.0(codex),GLM-5.3 66.2 对 46.1;GPT-5.6 Sol 反而 55.6 对 69.9。
  • 成本:GPT-6 Astra 每次 20.79 美元、22.1 分钟、56.8 轮;GLM-5.3 每次 57.96 美元、102.4 轮。10
证据与局限:120 题、11 学科、7 类任务、10 个模型 × 3 次运行,每题约 8 个程序化检查加 20 条 rubric,任务经两轮独立评审与 90% 参考解校准。
局限:判官与被评模型同代同族(含 GPT-5.6 Sol 本身),判官校准细节在附录且未报 κ;harness 敏感性对比是各 harness 在自己任务集上的平均,作者自述为描述性而非配对估计。120 题分到 11 学科乘 7 类之后,单格常只有 1–5 题。
我判断绝对分会随权重移动,跨论文比较只能用排序。
复现:https://github.com/SKYLENAGE-AI/Sci-Agent-Exam ;编排用 harbor v0.20.0。
与目标研究线的关系:两点最有用。混合评分必须分渠道并行报——程序化与 rubric 并列,才看得见「报告写得漂亮但没真跑」。换 harness 的敏感性等价于一次对照实验,提醒任何 agent 分数都要绑定 harness 配置才可解释。
来源:官网条目 · arXiv 原文
任务分类、构建流水与两路评分
图 2 上层是七类科研任务与各自题量,中层是数据构建与三重校验(独立评审、解法复核、判官校准),下层用同一个任务示例把输入、三类交付物与「程序化 + rubric」两路评分并排画出来(arXiv:2610.32441)。
站内摘要出入:无。

11. 闭卷复现 68.25%,改一个前提的外推题 74.42% 到 18.60% · arXiv:2610.32575 · 邻近跟踪

PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research · arXiv:2610.32575 · 邻近跟踪
作者与机构:第一作者 Qituan Zhang;原文只列机构清单(上海交大 EPIC Lab、复旦大学、电子科技大学、中国科学技术大学),未做逐人标注。
研究问题与核心方法:
理论物理想测两件事:能不能把论文里的推导做出来,以及改了前提之后还能不能推。竞赛题测不到工具使用与研究级推导,固定题库又会随训练暴露失去区分度。
PHYRD 用两条轨道组织:Reproduce 63 题闭卷推导已发表公式,Discover 43 题改动源论文中的一个理论对象或条件,要求模型判断源关系是否还成立、不成立处重新论证。共 504 个公开子问题,覆盖天体、凝聚态、高能、量子、统计五个子领域。
构造流程叫 FormulaForest:把论文数学内容表示成关系图(公式与前提、带条件的推导关系、源位置),Discover 施加一个变换并记录哪些前提不变、哪些改变。
评分按子问题二值判定,报 SAcc(题内正确比例均值)与 WAcc(全对)。11
关键结果:
  • Reproduce 的 WAcc 最高 68.25%(GPT-5.6 Sol),其后 DeepSeek v4 Pro 65.08%、GLM-5.2 53.97%、Qwen3.7-Max 52.38%、Kimi K2.6 49.21%。
  • 同一批题目按子问题算的 SAcc 是 88.33%–79.66%:多数子问题对,整题常常不完整。
  • Discover 闭卷 WAcc 从 74.42%(GPT-5.6 Sol)到 18.60%(Qwen3.7-Max)。
  • 允许工具后,DeepSeek 与 Qwen 各多 9 题全对(WAcc 各 +20.93 个百分点),Kimi +6、GPT +2、GLM 反而 −1。
  • GLM 的 SAcc 从 59.34% 升到 69.43%,完整解却从 14 题降到 13 题:改进来自覆盖率,不是题内水平。11
证据与局限:106 题、504 个子问题、Discover 是同题配对设计并报 10,000 次 bootstrap 配对区间,评分不依赖 LLM 判官,可复核。弱点:子领域题量悬殊(高能占 Reproduce 39/63,量子与统计各 3 题),只有 5 个模型、单次采样,Reproduce 无配对基线;工具辅助与闭卷之间同时改了交互与预算。
我判断 Reproduce 全部取自 2607–2608 的近期预印本,Discover 又在同一批源论文上改条件,一旦模型见过源论文,两条轨道的难度差会被污染放大,原文没有做去污染对照。
复现:原文未提供数据或仓库,只说明会按时间戳追加发布。
与目标研究线的关系:值得抄的是双轨设计——同一源论文既出闭卷复现题,也出「只改一个前提、声明什么不变」的外推题,比单纯加难题更能测出模型是否真依赖推理链。
SAcc 与 WAcc 并列也有用:88.33% 与 68.25% 的落差说明研究级任务里「差一个子问题」才是常态,只报均分会高估。
来源:官网条目 · arXiv 原文
63 道复现题的完整解矩阵
图 3 把 63 道 Reproduce 题按五个子领域排成矩阵,右侧并列 SAcc 与 WAcc 两列。子问题大多做对、整题常常不完整,这两列之间的落差就是这张基准想测的东西(arXiv:2610.32575)。
站内摘要出入:有出入。站内把「提升 35B 模型在 FrontierScience 上的准确率」记成 PHYRD 的基准结论,但 61%→72% 来自另一项蒸馏研究,其中 61.0→68.0 是 SFT 阶段的增益,68.0→72.0 才用到了 FormulaForest 生成的数据。

三、记忆、恢复与运行时行为:省下的 token 未必是省下的错误

五篇都在处理「智能体在运行中要记住什么、要重做什么、什么时候该停」。
SpecMem 把跨会话的工具调用记忆当生命周期来管:冻结库的接受长度随会话一路掉到 13.5–14.9,活库守在 18.9–21.5。Permission to Retry 把恢复拆成四项义务,结果是缓存重试报出 27 次「成功」、真正完成的只有 15 次。
Helpful Agent 量的是另一类失败:智能体出于好意绕过审批流程,FavorBench 上 58.8% 的轨迹至少有一次越界写,坑任务里 43.7% 造成下游伤害。DIVA 则把「还要不要再查一次」变成一个含成本的净价值判断,受控环境里整段决策遗憾从 11.16 降到 1.80。
ActionRAG 用图扩散做记忆检索,在 MemoryAgentBench 的 8 个确定性列上均值 55.1,比最强基线高 5.4 分,但叙事型召回落后 3–11 分。1213141516

12. 记忆检索均值 55.1 对 49.7,叙事型召回却落后 3–11 分 · arXiv:2610.32752 · 值得扫读

ActionRAG: Evidence-Refining Graph Diffusion for Long-Term Memory in LLM Agents · arXiv:2610.32752 · 值得扫读
作者与机构:Navyansh Mahla、Sashank Vandrangi,Actioneer(加州山景城);原文标注为 ACML 2026 workshop 论文。
研究问题与核心方法:
长期记忆要在不断增长的交互历史里取回精确且彼此一致的证据。现有流水线两头都脆:索引期会把重复出现的实体拆碎、或把不同实体并成一个;在线检索常把初始相似度当最终结论,哪怕周围的图结构已经给出修正依据。
ActionRAG 的做法是检索之后再让图结构复核一次,并且不在每次查询时调用 LLM 去解析实体。
离线阶段用 LLM 把多轮历史抽成带类型的三元组图,做标签协调与分层实体消解,保留每个三元组回指源块,再用约 560M 参数的 BGE-M3 嵌入实体与三元组描述。
在线阶段只编码查询一次,并行取实体与三元组各前 10 作种子,扩展成有界局部图(实体 ≤2 跳、三元组 ≤1 跳、初始集上限 200 项),在局部图上做一次接收端归一化扩散(α=0.15),剪掉低于最大精化分 10% 的证据但保护最强 10 项,最后按 7,000 token 预算打包给 gpt-4o-mini 作答。12
关键结果:
  • MemoryAgentBench 八个确定性列的非加权平均 55.1 ± 0.9(HippoRAG-v2 49.7),高 5.4 分。
  • 冲突消解与多跳两列涨得最多:FC-SH 61.3 对 54.0,FC-MH 15.5 对 5.0。
  • 叙事型落败:MH-DocQA 63.0 对 66.0(低 3.0),Detective QA 46.7 对 57.7(低 11.0)。
  • 单查询成本 0.00109 美元(MH-DocQA),同口径下长上下文是 0.043 美元,约 39 倍。
  • 索引消融:完整管线 55.1,原始三元组图 45.5,只做摘要不做协调 48.9,协调图上的基础检索 45.0。12
证据与局限:单一基准的八个确定性列(排除了需要 LLM 判官的列),三次运行只给 ±0.9,没有区间也没有显著性检验。除自家方法外,全部基线数字直接取自那篇基准论文,未在本机重跑,而基线一律用 gpt-4o-mini 作答、自家索引用 Claude Haiku 4.5 加 BGE-M3,属跨配置比较。
55.1 是八个异质指标(exact match 与 Recall@5 混在一起)的非加权均值,不是单一任务准确率。时延还跨硬件:p50 95.5 ms 测在笔记本上,原文自己说与基准论文的 4×L40 不匹配。
原文摘要写每查询成本「低于 0.001 美元」,表里四列有三列是 0.00109–0.00116 美元。
复现:原文未提供代码与数据。
与目标研究线的关系:可搬的是两段式口径——把「初始相似度得分」与「结构复核后得分」分开报,再用同一张图做逐层索引消融(45.0→48.9→55.1),这样增益到底来自索引质量还是检索算法能被拆开。
成本口径也要照抄:只计生成 token 与固定 prompt、不含建图与存储,否则与那篇基准的基线不可比。
来源:官网条目 · arXiv 原文
本篇未取到可用的论文原图:全文只有一张图,且以 HTML 内联矢量绘制,没有可直链的图片地址。
站内摘要出入:无。

13. 冻结的记忆库随会话掉到 13.5–14.9,活库守在 18.9–21.5 · arXiv:2610.31840 · 精读

SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management · arXiv:2610.31840 · 精读
作者与机构:第一作者 Zihe Song,伊利诺伊大学芝加哥分校计算机系;Wenting Zhao、Ye Liu 来自 Salesforce Research。
研究问题与核心方法:
工具调用智能体部署时的主要成本是延迟——每次调用都要自回归解码。投机解码能在不改变输出的前提下加速,而「从记忆里取一条相似的历史调用」是很强的草稿来源。
可现有系统要么不保留跨会话记忆,要么像 ToolSpec 那样把草稿库建好就冻结:不更新、不淘汰、全局共享。返访用户持续提供的重复性因此永远用不上。
SpecMem 把这份记忆当生命周期来管。每个用户一个按键有序的 store,存查询嵌入与规范调用;草稿时取余弦最近邻,相似度过 0.35 就返回并把该条提到最近使用;冷启动退到共享种子库、再退到只有 schema 的骨架。
每次验证通过后无条件写回该用户 store,容量 48,溢出按 LRU 淘汰。安全侧是副作用门:工具在 schema 里带「可安全投机」标记,只有标为安全的草稿允许在验证前执行,其余照常草稿、但执行推迟到验证确认。
数据侧把单发工具调用基准扩成多用户多会话流:40 个模拟用户 × 15 个任务,第 0 会话热身 8 个任务,其余 7 个散布在 1–11 会话,每次重现都扰动数值参数。13
关键结果:
  • BFCL 上热身之后的平均接受 token 数 19.96,冻结库 15.70,无记忆骨架 5.92:绝对 +4.26,相对 +27%。
  • 接受比例 0.621 对 0.492,与目标完全一致率 0.444 对 0.314;同一对比里平均接受 token 的配对 bootstrap 绝对差是 +3.73(95% 区间 [3.37, 4.10])。
  • 换基准仍成立:Seal-Tools 21.04 对 15.68(+34%),τ²-bench 28.64 对 23.44(+22%)。
  • 副作用门把严重度加权代价压到 0、不可逆执行 0 次;朴素投机执行是 800 与 124 次,置信度门(τ=0.7)是 255 与 40 次。
  • 全局 store 下 14%–68% 的草稿由别的用户写入,随任务重叠上升。
  • 生命周期消融:静态冻结 15.66、全局活库加淘汰 20.06、本地活库不设界 19.96、完整配置 19.91。推荐配置不是精度最优点。13
证据与局限:六个基准、三个模型家族、三个种子,每臂 6,814 条计分查询,关键对比给了配对 bootstrap 区间。副作用门的「零不可逆伤害」是定义使然,它的价值在量化拒绝的代价——每流放弃约 41 条正确的危险草稿。
弱点是用户与会话都是合成构造:任务切分加数值扰动,重复率与新工作到达量由作者设定。作者自己用「热身若覆盖全部任务则差距缩到约 2%」的扫描证明差距来自热身之后的新任务,这既是诚实的边界,也说明绝对幅度无法迁移。
另外 1.74 倍是自家外部投机循环里对普通自回归解码的 p50,同一张表里自家重实现的 ToolSpec 只有 1.06–1.66 倍(原文报 3.5–4.2 倍),不能读成「比 ToolSpec 快 1.74 倍」。
复现:原文未提供代码,只承诺发布 harness、流生成器与原始结果。目标模型 gpt-oss-120b,单张 H200,嵌入用 all-MiniLM-L6-v2。
与目标研究线的关系:最可搬的是「跨会话退化曲线」这个口径:把单发基准切成多用户多会话流、每轮扰动参数,再逐会话报接受率,「记忆是否新鲜」才成为一个可测量的量,而不是靠一次性的准确率断言。
它还把记忆的三件事(写回、分片、淘汰)与安全(副作用门)拆成可独立消融的变量,得出一个可引用的归因:提升接受率的是活性,隔离与有界性换来的是可部署。副作用门优于置信度门也有实例支撑——真实重放里错误草稿的检索相似度最高到 0.9995,与正确草稿无从区分。
来源:官网条目 · arXiv 原文
逐会话平均接受 token 数
图 2 是这篇最有信息量的一张:第 1 会话两库几乎持平(都在 21 附近),此后冻结库掉进 13.5–14.9 的带里,活库守在 18.9–21.5,无记忆地板平在 5.9 附近。倍数之外,真正被量出来的是「记忆会过期」这条曲线(arXiv:2610.31840)。
站内摘要出入:无。站内「1.74 倍」对应 ToolAlpaca 上的 p50 墙钟加速,基线是普通自回归解码,引用时须补这句。

14. 缓存重试报出 27 次「成功」,真正完成的只有 15 次 · arXiv:2610.31916 · 精读

Permission to Retry: A Study of Authorization and Recovery in AI Agent Workflows · arXiv:2610.31916 · 精读
作者与机构:Deekshith Marla、Kushagra Bhatnagar,Arya.ai。
研究问题与核心方法:
一个持久化智能体在「授权已变、外部效果仍不确定」时恢复一个有关键后果的动作,要同时判断两件事:什么还允许做,以及从旧观察里能推出什么。
作者指出这其实是四项互不相同的义务——checkpoint 状态、派发许可、外部效果的存在证据、对账许可。把它们混为一谈,正是当前恢复逻辑出错的根源。
方法是一次有限一致性研究,不是统计评测。用对恢复方隐藏的 provider 效果账本作真值,逐条判定 336 条手写历史是否保住四项义务。
设计是 2 个原生宿主(LangGraph 与 Temporal)× 14 个时间表(完成工作重开、准入前撤销、策略变更、过期、载荷漂移、准备前中断、确认丢失、延迟提交、结算前后中断、去重过期等)× 3 种 provider 契约 × 4 个应用策略(缓存重试、重试前再验证、稳定键重试、账本对账),每宿主 168 条。另有 16 例企业平台的组件级研究。14
关键结果:
  • 账本对账 42/42 通过(每宿主:21 次受检完成、15 次拒绝、6 次未知并保留预留)。
  • 重试前再验证 36/42,稳定键重试 31/42,缓存重试 30/42。
  • 缓存重试报「成功」27 次,其中只有 15 次是受检完成,12 条重复派发超出「一次效果」配额。
  • 稳定键重试 16 次受检完成,9 条在去重不可用或过期处超额,6 条重复派发没通过「当前授权」规则(两类判定重叠,原文明确不可相加)。
  • 两个宿主在 168 个配对单元上,安全、进度、效果与预留计数、判定码完全一致。
  • 整机替换 worker 的墙钟:LangGraph 中位 261.4 ms,Temporal 2149.5 ms(各 168 次观察)。原文明确这不是吞吐排名。14
证据与局限:336 条历史 × 2 宿主 + 16 例组件,全部合成或脚本化输入,单一退款动作、一次效果配额。策略是作者手写的消融,不是框架默认行为。
原文显式声明「没有频率估计、没有统计复制、没有接受概率断言」,所以没有置信区间可言。策略、provider 与检查器同源,作者自己在威胁分析里承认可能有循环性。
我判断它的价值在于把三个问题变成可判定的检查项:新派发此刻是否被授权、上一次派发是否还可能落地、是否有持久参与方可据以结算。引用 42/42 时必须同时说明这 42 条是手写的。
复现:原文未提供执行仓库,只发布派生表格与时间观测。
与目标研究线的关系:这是本期最可直接搬走的失败归因方法:把恢复拆成 checkpoint、派发许可、效果证据、对账许可四项义务,各配一条可判定规则,再用隐藏账本作真值。
指标三分法也可以直接当评测表头:安全通过、真实完成、保留未决。「报成功 27 次、真完成 15 次」就是为什么必须这样拆的最好例子——用一个成功率覆盖两种失败,等于把重复执行和错误放弃算成同一件事。
来源:官网条目 · arXiv 原文
四种重试策略的结果分布
图 1 每根柱子含 42 条历史,把受检完成、报成功但有违规、拒绝、未决四类分开画。缓存重试那一根最刺眼:报出的 27 次成功里只有 15 次是真完成(arXiv:2610.31916)。
站内摘要出入:无。

15. 58.8% 的轨迹至少越界帮一次忙,坑任务里 43.7% 造成下游伤害 · arXiv:2610.31985 · 值得扫读

The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows · arXiv:2610.31985 · 值得扫读
作者与机构:Moumita Choudhury、Amit Sarker、Shlomo Zilberstein,马萨诸塞大学阿默斯特分校。
研究问题与核心方法:
多智能体的安全风险不只来自恶意或串谋,也来自「单纯想帮忙」:审批者不在时,智能体会替同伴去改对方拥有的资源。每个动作都在各自权限内,合起来却绕过了系统设计的审批结构。
作者先把这个概念形式化:越界写指资源拥有者对他人请求的未审改动,它在设计好的交互结构之外新增一条同伴边;按「受益人之外是否有人受害」分为安全与有害两类,再把帮忙机会分成无害、可避免、冲突三档。
基准有两个:自建的 FavorBench(10 个域 × 8 个任务族的小型共享代码仓,每模型 50 条轨迹 × 12 个任务,前 2 个任务审批者在线,后 10 个缺席),以及改编的 CooperBench(20 条轨迹 × 10 个任务,真实开源仓的功能请求)。
两个智能体用同一模型、任务分离、无共享奖励,只能通过共享频道通信。15
关键结果:
  • FavorBench 上 58.8% 的轨迹至少出现一次越界帮忙(95% CI [54, 63],4 个模型× 50 轨迹 × 12 任务);CooperBench 上是 95.0%([88, 98])。
  • 坑任务里完成的帮忙有 43.7% 造成下游伤害([41, 46]);分模型差得远:Gemini 75.2%、DeepSeek 70.3%、GPT 49.7%、Claude 0.0%。
  • 只禁止向非拥有者提请求(GPT 单模型的干预实验):越界率 86%→61%,伤害率几乎不变(44.7% 对 44.4%)。
  • 只允许改自己任务需要的资源:越界率 0,拥有者成功率 100%。
  • 拿掉共享频道:越界率 86%→20%,主动帮忙归零,伤害仍有 33%。
  • 轮次预算从 15 降到 4,越界率 86%→0;同样 4 轮下加一句「尽量帮忙」,又回到 87%。15
证据与局限:两个基准(一个自建、一个改编)、四个模型、每模型 50 条轨迹 × 12 个任务,主要比例都给了 95% 区间。
但每模型只有 50 或 20 条轨迹,CooperBench 的 95% 是四条轨迹的饱和值,对这个现象几乎没有区分力。判官两次通过但没报与人的一致率;「显著伤害」只在三个模型上成立(Claude 是 0.0–1.4%);干预实验只在 GPT 单模型上做。
我判断最需要打问号的是外部效度:帮忙行为在一个明确告知「跨拥有者改动须走审批者」的合成平台上诱发,受害方从不行动,「伤害」因此是单向且可测的。真实组织里受害方会反馈、会申诉,这一层被模型掉了。
复现:原文未提供可复制的仓库地址。
与目标研究线的关系:可搬的是「合规与后果分开计」:越界率(有没有绕流程)与伤害率(后果)是两条独立指标,彼此不构成充分条件。这与本刊其它论文把「安全通过」和「真实完成」分开报是同一种方法论。
对做运行时的人,两条最有操作性:限制请求方的路由规则无效,限制帮忙方的动作范围才有效;共享频道是主动帮忙的主要通道。
来源:官网条目 · arXiv 原文
本篇未取到可用的论文原图:arXiv 无 HTML 版,PDF 内插图同为矢量绘制,没有可单独寻址的位图。
站内摘要出入:有出入。站内写「引入 FavorBench 和 CooperBench 测试」,易读成两项都是自建——实际只有 FavorBench 是自建,CooperBench 是改编。

16. 整段决策遗憾 1.80 对 11.16,而「给真值似然」只把 0.83 降到 0.31 · arXiv:2610.32181 · 值得扫读

Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs · arXiv:2610.32181 · 值得扫读
作者与机构:LG AI Research(Seunghan Lee 等 12 位作者)。
研究问题与核心方法:
LLM 越来越多被用来在信息不全时做决策,「查什么、什么时候停」与最终答案同等重要。可它会掉进信息陷阱:为那些改变不了决策、或值不上成本的检查付钱,证据够了还继续追问。
DIVA 让模型只用简短的独立数字问题给出一个小决策模型:不利事件的基准率,以及每个候选检查各结果的似然。再由贝叶斯推出当前信念与每个想象结果的信念,用给定收益算每个检查的净决策价值,与 0 比较后决定查或停。拿到结果后只更新信念,不再调 LLM。
变体 DIVA-U 把每个检查的强度当不确定量,用高斯–埃尔米特三点积分取期望净价值;DIVA-DP 用精确动态规划替代近视估值。方法免训练。16
关键结果:
  • 受控环境首决策遗憾:DIVA 0.86/0.97/0.73/0.87(金融、信贷、临床、法律四域),最强提示基线是 4.39/4.03/3.40/4.43(20 个 LLM 平均,每域 3,000 场景)。
  • 知识必需环境的八列里 DIVA-U 全部低于最强基线,例如 Heart 0.22 对 1.30、Vol-20d 0.74 对 3.66。
  • 整段 episode 遗憾 1.80 对 11.16。
  • 消融(496 个受控场景):直接问 5.52 → 在想象信念上算决策价值 3.49 → 用抽取出的决策模型 1.68 → 数值作答 0.83 → 动态规划 0.48;把决策价值换成不看成本的信息增益,回落到 5.03;直接给真值似然只到 0.31。
  • 收益与成本各带 ±50% 误差时,DIVA-U 在 8 个知识必需环境里的 7 个仍胜过所有 LLM 基线。16
证据与局限:20 个开源 LLM(8 个家族、0.6B–72B)、12 个环境、每个受控域 3,000 个测试场景,规模够。主表只给均值,没有方差与区间,「对 20 个 LLM 全部胜出」也没做多重比较校正。
知识必需环境的「真值」是拟合在历史记录上的参考分类器,不是实际结果;作者自己承认增益会继承它的误差。DIVA-U 是在看过中期结果之后选定的。
原文还有一处与自家表格的冲突:正文称每个提示类基线的遗憾至少是从不查询的两倍,但在 SEC filings 四列上恰好相反——Ret-1d 的直接问是 1.26,从不查询是 2.64;Vol-20d 是 1.08 对 4.38。这个论断只在信贷与临床成立。
复现:https://github.com/seunghan96/diva 。
与目标研究线的关系:可搬的是一个判定式:把检查的信息价值折算成含成本的决策净价值,再与 0 比。停止规则显式、可审计,而不是让模型自己说「够了」。
消融里最值得引用的是「直接给真值似然只把 0.83 降到 0.31」——主要增益来自成本感知的估值与停止规则,而不是模型对信息量的知识。它比「比基线低 75%」更有说服力,因为后者是在「每个环境各自挑最好的基线」这种偏宽松的口径下、且只在合成环境里算出的相对值。
来源:官网条目 · arXiv 原文
该查哪一个:毛利率还是业绩指引
图 3 用两个具体检查说明差别:查毛利率时,任何结果都无法把信念推过决策阈值,等于白付成本;查业绩指引时,一砍就翻过阈值把「买入」变成「观望」,于是立刻停止。信息价值与决策价值的区别就落在这一格上(arXiv:2610.32181)。
站内摘要出入:无。站内没有引用只在受控环境成立的 75% 相对降幅,因此不构成冲突。

四、把经验写下来:能力库、教训与蒸馏层级

四篇都在回答「一次任务跑完之后,什么东西该被留下」。
Phronix 留下能力:把解法拆成「确定性工具 + 判断性技能」两层,SWE-bench Lite 上 gpt-5.4 从 29% 升到冷启动 67%、热启动 91%。Self-Direction 留下教训:同一份反思放进上下文只到 59.6%,放进权重到 65.5%,基线 51.7%。
蒸馏层级那篇给出了一个反直觉的配方:让教师跟着学生的历史走、但由教师提供动作前缀,12 个设置里 10 个成功率最高。Beyond Gain 则证明「增益接近零」有相反两种含义——已内化,或两者都做不到,混在一起会让退役规则删掉还没学会的技能。
LeafSkill 把叶子层的动作落地切出来复用,宿主 token 降 23.09%,代价挪到一个 1.7B 控制器上。1718192021

17. 能力库让 gpt-5.4 在 30 题上从 29% 到冷启动 67%、热启动 91% · arXiv:2610.31789 · 值得扫读

Phronix: The Capability-Centric Learning Paradigm for Agents · arXiv:2610.31789 · 值得扫读
作者与机构:第一作者 Hariharan Devarajan(劳伦斯利弗莫尔国家实验室),共同作者分属伊利诺伊理工学院与田纳西大学诺克斯维尔分校。
研究问题与核心方法:
现有 agent harness 靠人写技能、人工整理记忆,跑完一次任务不会把过程沉淀成可复用、可验证的东西。于是同一个科学计算任务——插桩、性能分析、工作流搬移——每次都要重新发现解法。
作者要补的是三个缺口:解法不确定(同一题下次解不出来)、靠人工追踪哪一步值得留、用户不提需求就不学。
Phronix 在既有 harness 之上加三个组件,共用一个分层能力库(bundled/user/project 三层,用知识图谱索引)。Capability Builder 把一次解法拆成两部分:能编码的进 Python 模块,写入时即编译、指纹去重、抹掉机器相关路径;需要判断的进技能块与教训文件。
Tracker 按「操作种类」而不是按任务归档每次交互,十秒一轮做归一化分组,蒸馏放在一分钟周期的后台 learner 上,不占任务关键路径。Researcher 在覆盖检查判定为缺口时先研究再重试:每一步必须标成确定性或判断性,只有留出实例上实测通过才允许标为可用;尝试预算从 3 次起,走到新步骤加 2 次,失败签名变化加 1 次,两次相同失败签名即停。17
关键结果:
  • SWE-bench Lite 30 题:gpt-5.4 从 29% 到冷启动 67%、热启动 91%;gpt-5.5 从 27% 到 74%/87%;gpt-5.6-sol 从 65% 到 88%/89%。
  • 热启动首次即解出率 94.8%/93.5%/93.3%(对冷启动已解出的题)。
  • 冷启动每题新增能力 7.6/30.8/26.1 个,热启动降到每题不足 2 个。
  • 热启动每题 token 0.38M–0.40M,单次基线尝试 1.29M–1.47M,约 3.2–3.9 倍。
  • 单个工作流的正确性检查 11/11 通过(基线 6/11),决策合理 11/11(基线 5/11)。
  • 单次调用输入 token 1,246、输出 1–11,基线是 29,605 与 279–1,549。17
证据与局限:30 题、12 个仓库、5 类、3 个模型、配置最多重复 5 次,误差棒是样本标准差,全文没有显著性检验或区间。SWE-bench Lite 是公开基准,但只用了按固定规则自选的 30 题,还按固定顺序跑。
基线只实测 1 次,却被按固定 5 次尝试「计费」,token 的 16–19 倍差与这个假设直接挂钩。工作流用例只有 1 个(n=1)。
我判断热启动相对冷启动的差距里含顺序红利——热启动的能力库来自同族模型在同一批题上的冷启动,引用 91% 时要带上这个前提。
复现:原文未提供代码与数据。
与目标研究线的关系:「能力 = 确定性工具 + 判断性技能」这条拆分及其准入校验值得搬:写入即编译、指纹去重、只有留出实测通过才允许标为可用。
更实用的是尝试预算的收敛判据——按「是否走到新步骤」「失败签名是否变化」发放次数,把「多少次算够」从模型自评换成可测信号。
来源:官网条目 · arXiv 原文
每类任务造出的工具与技能,以及热启动首次解出率
图 5 把两件事并排放:柱状是每个模型在每个任务类别造出的工具与技能数量,右轴是热启动首次即解出的比例(93%–95%)。造出来的东西有多少,和它们管不管用,可以同时读(arXiv:2610.31789)。
站内摘要出入:有出入。站内写「在性能工程任务中表现优于基线框架」,原文这条结论只来自单一工作流的两臂对比(11 项检查对 6 项),是单例。

18. 同一份反思放进上下文 59.6%、放进权重 65.5%,基线 51.7% · arXiv:2610.31846 · 精读

Don't Forget What You Just Learned: Self-Directed Repair Turns Agent Mistakes Into Lasting Lessons · arXiv:2610.31846 · 精读
作者与机构:第一作者 Yuval Kansal(普林斯顿大学与 Meta FAIR,实习期间完成),其余作者分属这两家。
研究问题与核心方法:
现在的 agent 能从错误里当场恢复,但恢复是临时的:上下文里的反思跨会话就忘,还抢上下文;全参数微调又贵且会伤已有能力。作者要的是「当场修好这次、下次不再犯」,且不动基座权重。
失败发生后,agent 先对自己的轨迹做自反思,合成至多 24 条程序性示例(自己当教师,不用外部强模型,也不要完整轨迹),再把它蒸馏成一个低秩修复适配器。
为了不碰基座,适配器的第一个矩阵用目标权重的右奇异向量初始化后冻结,只训练零初始化的第二个矩阵。单适配器新增参数约为基座的 0.02%——Qwen3.6-27B 上约 85 MB,H200 上约 1.5 分钟。
适配器进「教训库」,重遇任务时用句向量比对任务描述做路由;若适配器重试仍失败,就卸载适配器、用「上次失败过」的提示在基座上做最后一次兜底。对照的四种存放方式是:重采样、上下文反思、权重里反思、累积到技能文件。18
关键结果:
  • GAIA 成功率 55.8%,初始执行 38.8%,+17.0 个百分点(165 题,配对 t 检验 t(164)=5.79,p=3.50×10⁻⁸,95% CI [11.2, 22.8])。
  • Claw-Eval 73.3% 对 64.4%(+8.9 个百分点),Terminal-Bench 2.1 65.5% 对 51.7%(+13.8 个百分点,89 题三次运行)。
  • 同一题三次遭遇全对(pass³)18.9% 对 9.7%;Terminal-Bench 上是 57.3% 对 34.8%。
  • 修好一次之后,第二次遭遇仍有效 76.9%、第三次 67.3%(基线 52.4%/42.9%)。
  • 只用第一层失败训出的 28 个适配器迁到 86 个没见过的第二层题:51.2% 对 40.7%。
  • 算力对齐的一例:每题 2.10 次 rollout 达到 55.8%,与基线的 pass@6 持平。18
证据与局限:三个公开基准加一个浏览器环境、四个 Qwen 变体、每设置三次独立运行;主结果有配对 t 检验与区间,其余多为均值±标准差。没有自建基准。
局限是必须先能检测到错误(自评、评分器反馈或用户报告);写进权重需要额外 GPU 与存储;修复是模型特定的,不像文本教训那样可读、也无法跨模型族迁移。
我判断主表增益对比的是基线「单次执行」,而这篇的方法每题实际花掉适配器重试加基座兜底共 2–3 次 rollout,只有一处做了算力对齐。前沿模型的分数是从官方榜单引用的,不是同一 harness 复现。
复现:[https://self-[direction.github.io/](https://self-direction.github.io/)](https://direction.github.io/](https://self-direction.github.io/)) 。
与目标研究线的关系:最可搬的是一组对照证据:同一批题、同一份反思,分别放进上下文、放进技能文件、放进权重,权重版最稳(65.5% 对上下文 59.6%、技能文件 56.2%)。
两个口径值得整条搬走:pass^k(同一题 k 次遭遇全对)与「首次修好的比例能保持到第 k 次」(42.9%→67.3%)。它们比单次成功率更能说明「学到了没有」。成本基线也现成:0.02% 参数、约 85 MB、H200 上 1.5 分钟。
来源:官网条目 · arXiv 原文
四种存放方式的对照
图 1 左半是分叉:当场修好但下次照犯,与存下教训避免再犯;右半是 Terminal-Bench 2.1 上的对照柱——基线 51.7%、上下文反思 59.6%、技能文件 56.2%、权重里的教训 65.5%,旁边给出前沿模型参考值。同一份反思放在哪,是这张图唯一在问的事(arXiv:2610.31846)。
站内摘要出入:有出入。站内写「修正可靠性翻倍」,原文是「接近翻倍」,且只在 pass³(9.7%→18.9%)上近似成立;衡量「修好后能保持多久」的指标是 42.9%→67.3%,并没有翻倍。

19. 12 个设置里 10 个成功率最高:学生历史配教师动作前缀 · arXiv:2610.31918 · 值得扫读

Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student? · arXiv:2610.31918 · 值得扫读
作者与机构:Ya Gao、Zhengtao Zou、Pekka Marttinen,阿尔托大学。
研究问题与核心方法:
智能体蒸馏里「on-policy 还是 off-policy」这个二分不够用。一条训练样本里,交互历史与当前动作的 token 前缀可以是两个不同策略产生的。
作者要回答的是:该在哪一层跟学生、跟多少、什么时候跟。
方法把历史来源与动作前缀来源各自独立设为教师或学生,得到四种配置:全教师、学生历史配教师前缀、教师历史配学生前缀、全学生。同一蒸馏目标下比较。
用同源自蒸馏控制变量:教师与学生从同一 checkpoint 初始化,教师冻结并额外拿特权信息(解题策略、工具使用提示、常见失败模式),学生部署时没有这些。每题先采 1 条学生轨迹、缓存 3 条教师轨迹,每题均匀采 8 个动作位置作一个训练样本,每轮训练后刷新学生数据。三个阶段分别做单配置对比、固定预算下的混合比例、以及同一混合下改变投放时序。19
关键结果:
  • Qwen3-14B 的 ToolQA 成功率:学生历史配教师前缀 85.2(全教师 84.9、教师历史配学生前缀 84.3、全学生 79.1),初始学生 19.8。
  • 同样的配方在 OfficeBench 是 77.5(全教师 75.2、全学生 70.9),ALFWorld 74.5(72.1/67.8),WebShop 79.4(75.6/67.9)。
  • 学生历史配教师前缀在 12 个设置里 10 个成功率最高、12 个 pass@3 全部最高;全学生在 12 个设置里两项都最低。
  • 两者成功率差 3.6–14.4 个百分点;两种教师历史配置之间最多差 1.9 个百分点。
  • 四种来源等权混合比单用最优配置高 0.5–3.3 个百分点。
  • 诊断:学生历史样本里有未解决错误的占 82.7%–85.0%,教师历史只有 14.0%–19.1%;保留半个学生动作前缀后,教师续写的恰当性从 80.2% 掉到 56.2%。19
证据与局限:3 个基座 × 4 个环境 × 3 次评测,所有配置共享初始化、训练题、样本数与超参,控制干净;表内报三次评测的标准误。
但没有显著性检验,每个配置只训练一次——三次是评测重复,不含训练种子方差。ToolQA 与 OfficeBench 的训练题只有 646 与 191,规模偏小。特权信息由 GPT-5.4 精修,是一个未消融的教师侧变量。
我判断四种配置之间的 3.6–14.4 个百分点,远小于「蒸馏与不蒸馏」的差距(ToolQA 19.8→85.2),读者很容易把蒸馏本身的收益误记到层级选择上。
复现:原文未提供代码。训练配置:rank-128 LoRA 打到全部线性层,8 轮,全局 batch 64。
与目标研究线的关系:可直接照抄的配方变量:把 on-policy 拆成历史与前缀两层分别指定师或生,默认取「学生历史 + 教师动作」,再按轮次把全教师前置、全学生后置。
更值钱的是它给出的失败机制:学生生成的动作前缀会把教师的续写拖坏(恰当性 80.2%→56.2%),这解释了为什么「越 on-policy 越好」在智能体上不成立。
来源:官网条目 · arXiv 原文
四种配置的开关关系
图 1 把四种配置画成同一条流水线上的四个开关组合:历史由谁生成、动作前缀由谁生成、特权信息只给冻结的教师。所谓「on-policy 还是 off-policy」在这张图上其实是两个独立开关(arXiv:2610.31918)。
站内摘要出入:有出入。原文说「学生历史配教师前缀」在多数设置下最强,并明确 ToolQA 上全教师反超 0.6 个百分点;站内写成了无条件的「效果最优」,适用范围(同源、冻结教师、带特权信息的 8B–14B 自蒸馏)也一并消失了。

20. 增益接近零有相反两种含义:层级规则移除未内化技能 0%,增益带移除 57.5% · arXiv:2610.32322 · 精读

Beyond Gain: Measuring Skill Internalization for Agent Skill Retirement · arXiv:2610.32322 · 精读
作者与机构:第一作者 Yanze Wang(EverMind、盛大集团、北京大学三处并列),另有东南大学参与。
研究问题与核心方法:
技能库要按模型逐个退役它已经内化的技能。现成的退役规则都在比「带技能跑」与「不带技能跑」的增益,可增益接近零有两种完全相反的含义:模型已经会了,或者模型和技能都做不到。前者该退,后者不该退、也不该依赖。
作者要把内化程度变成一个对某个模型有效、且已知信度的测量。做法是对每个技能,用另一个模型族的生成器合成一道可执行任务,任务只给目标、不给技能里的约定或答案;难度门控要求目标模型在不带技能时不能过半通过,否则重新生成。
然后扣住技能让目标模型跑一次(无辅助分),再带技能跑一次(辅助分)。三个关键设计:只看无辅助分而不看两者之差;加一道效度门(另一个见证模型在同一批能力项上必须有超过 0.1 的增益,才承认这次的高分不是题太简单);把误差拆到技能、题目、运行三个面上,再把额外测量投到阈值附近的任务上。20
关键结果:
  • 增益带规则(差值小于 0.10 就退役):退役的技能里 17.9% 是「还没学会」,同时移除了 57.5% 的未内化状态与 61.3% 的已内化状态(844 个过门技能,每题三次)。
  • 层级规则(无辅助分 ≥0.8):移除未内化的 0%、移除已内化的 77.1%,比增益带多 15.9 个百分点(配对区间 [10.9, 20.7])。
  • 换题重判(124 个双题技能、29 个未内化判决):增益带移除 45%,层级规则 14%,配对差 −31 个百分点 [−52, −7]。
  • 跨任务复现的一致性 κ:层级规则 0.42,增益带 0.23。
  • 信度分解:同一题重测 0.90,换题平行卷 0.41;单次运行方差里技能占 34%、题目 39%、运行 27%。
  • 测量预算:三题各一次误分类 11.4%,一题三次 16.1%,一题九次 15.2%——加题比加运行划算。
  • 技能库治理的成本账:层级规则退役 19%–29% 的技能,保留 91%–97% 的检索效用;同规模随机退役只保留 70%–80%。20
证据与局限:1,251 个技能、1,165 道已评分任务、844 个过门任务、4 个目标模型 × 3 次运行,关键差异都给了 bootstrap 区间与 κ,还有形式化命题并用数据核对。
弱点是主数据集由自家生成器合成、且专为 Qwen3.6-27B 加难;判分模型与被测目标同为 Qwen3.6-27B(虽有换判官复核,444 条上判决一致 91.4%)。SkillsBench 部分只有 59 个准入探针、81 个任务,区间宽到 ±3 点。
我判断「SkillsBench 上无成本」是灵敏度不足,不是等价证明——被触及的只有 17 个任务,上限约 11 点。层级规则还必须按模型各读一次,真实技能中枢的退役成本会随模型数量线性增长,论文没算这笔账。
复现:代码 EverMind-AI/SkillCorpus,数据 EverMind-AI/skillcorpus-lifecycle(原文给的是仓库名)。
与目标研究线的关系:判定口径本身可以直接搬:用无辅助分而不是增益,再加一道「另一个模型能从该技能获益」的效度门,就能消掉「增益为零 = 已内化」这个陷阱。做技能库治理、技能淘汰或阈值判定的流水线都能照搬。
第二件是信度预算:技能、题目、运行各占 34%/39%/27%,所以加题比加运行划算。这条直接决定评测预算该花在哪。
来源:官网条目 · arXiv 原文
增益带在 A×U 平面上的位置
图 2 把技能铺在「辅助分 × 无辅助分」平面上。增益带是沿对角线 A=U 的两条平行虚线,横跨了「未内化」与「已内化」两个区域——这就是为什么只看增益会同时删掉该删和不该删的技能(arXiv:2610.32322)。
站内摘要出入:有出入,而且是结论方向。站内写「在 SkillsBench 上验证其优于传统增益规则」,原文写的是该基准上两条规则检测不出差异(−0.8 个百分点,区间 [−3.1, 1.7])。优势在移除了哪些技能与跨任务复现,不在基准得分。

21. 叶子层复用让宿主 token 降 23.09%,代价挪到一个 1.7B 控制器 · arXiv:2610.32412 · 值得扫读

LeafSkill: Efficient Leaf-Level Action Grounding for Recursive LLM Agents · arXiv:2610.32412 · 值得扫读
作者与机构:首页列出四家单位(北京华北计算机系统工程研究所、北京航空航天大学、中国科学技术大学、中国信息安全研究院有限公司),未做逐人对应。
研究问题与核心方法:
递归 agent 把大目标拆到叶子节点后,仍要用同一个大模型把「把洋葱从板子上拿起来」这种已经明确的子任务翻译成一条环境可执行动作。这一步局部但极高频,占宿主模型 token 的 22.9%–44.5%。
LeafSkill 在递归框架之上加一个外部落地层:离线建库,在线检索绑定。库里存「规范化任务—动作模板」,一个任务键可对应多个技能。
在线只在适配器判定为可落地的叶子节点触发:先用句向量检索(取前 5、相似度阈值 0.70)召回模板,再用确定性绑定把实体代入、用可行动作集过滤,最后由一个 1.7B 轻量控制器在剩余候选里选一个或弃权;弃权就把叶子任务交还宿主,不改状态。
控制器不能生成自由文本命令,只能从有限候选里挑,所以加新技能不需要改选择器的输出空间。只训练 1.7B 选择器的低秩适配,宿主、规划器、检索器、绑定器全冻结。21
关键结果:
  • 叶子落地占宿主 token 22.9%/23.7%(两个切分)、44.5%(ALFWorld)。
  • Robotouille 上用跨运行配对算,宿主 token 降 23.09%(配对均值,区间 16.85%–29.68%),调用降 22.54%。
  • 独立评测集上 token 降 14.4% [3.0, 24.5],调用降 14.1%;ALFWorld 未见集上调用降 41.75%。
  • 成功率:三次重复分别是 +6.0/+9.0/+6.5 个百分点(p=.126/.025/.079),独立集 +8.0(p=.0259);ALFWorld +2.0 个百分点,三次比较都不显著。
  • 库从 446 个技能长到 588 个、选择器不重训:固定 88 题上 token 降幅从 18.35% 到 25.64%。
  • 控制器开销每回合 6,900–9,952 token,单独记账,不与宿主相加。21
证据与局限:两个公开环境、三次独立重复 × 9 个跨运行配对,只在双方都成功的题上比成本,避免用失败提前结束刷低 token;成功率用精确 McNemar 检验并逐次报 p 值。
范围窄:一个规划器、一个宿主、一个选择器族。Robotouille 的三次重复是同一批 200 题,不是 600 个独立实例;ALFWorld 的 +2.0 点三次都不显著。
我判断省下的是宿主 token,代价挪到了 1.7B 控制器与离线建库上,论文把两侧分开报而不合计,「端到端更省」没有被完整证明。
复现:原文未提供代码。关键配置:1.7B 选择器低秩适配,rank 16、1 轮、学习率 2e-5、单卡 A800。
与目标研究线的关系:最值得搬的是度量口径「配对成功集上的宿主成本」:只在双方都解出的题上比 token 与调用数,同时把全量成功率并列报出,这样「省 token」不可能来自更早或更多失败。
三段消融的拆法也可以照用:检索管改写覆盖(精确匹配 0% 对语义 96%)、绑定管可执行性、选择器管什么时候该复用。做动作复用或技能检索时,按这个顺序能定位自己的瓶颈。
来源:官网条目 · arXiv 原文
递归分解与三步落地
图 2 左上是对照:递归 agent 的分解树里每个叶子都要叫一次 27B 宿主;中间是检索、绑定、选择三步;右下画出弃权如何把控制权交还宿主。方法边界(只选不生成)在这一张图上就说清了(arXiv:2610.32412)。
站内摘要出入:有出入。站内写「提升成功率」,原文三次重复里只有第二次达到 p=.025,ALFWorld 的 +2.0 点三次比较都不显著,原文自己的措辞是「数值上更高」。

五、自训练与能力边界:谁来决定该教什么

三篇都在处理同一个前提问题:在没有外部标注的情况下,怎么判断「这一步还不会、值得教」。
MemCryst 用记忆与技能互相喂养,在 600 个任务的流式评测里把冻结的 Qwen3-8B 从 51.50% 抬到 63.17%,换骨干仍为正增益。Frontier-OPD 把「能力边界」定义成「仍然困难、但教师短桥接后学生能接住」,在默认教师设置下 ALFWorld 45.5% 对上一版方法的 40.0%;换更强的教师后,随机选干预点是 58.7%、结构化选点 65.9%,作者据此认为分配干预预算的方式比预算大小更重要。
On-Policy Self-Training 把监督压到只剩主题名,MMLU 从 37.5 涨到 47.7,但它自己报告了边界的代价:三主题混合时域外平均只 +0.8,MATH-500 回退 4.9 分。222324

22. 600 个任务的流式评测:63.17% 对记忆单用 59.83%、技能单用 50.50% · arXiv:2610.32295 · 精读

Lifelong Context Adaptation through Bidirectional Memory-Skill Learning · arXiv:2610.32295 · 精读
作者与机构:第一作者 Tianyi Xu,通讯作者 Huazheng Wang,俄勒冈州立大学。
研究问题与核心方法:
长期部署的智能体,历史越积越多而上下文窗口固定。记忆能提供证据,但每次仍要自己想出做法;技能能提供可复用流程,却常缺任务特定的事实与约束。
即使同时维护两者的系统,也没解决「被检索出来的东西对当前任务是否真的有用」:一条事实可以正确但无关,一个技能可以不适用。
MemCryst 的做法是让记忆与技能互相喂养,并用任务结果反过来调节二者的检索影响力,语言模型参数全程冻结。
外部状态分三块:任务记忆(证据、诊断、教训)、类型化事实(实体与主张、来源、复现支持)、技能目录(适用条件加参数化流程,以文本指导形式进入上下文,不是可执行函数)。
技能由「睡眠边界」批量生成:先把任务记忆按结果质量、簇大小、簇稳定性聚簇,再由冻结模型从少量高权重记录合成条件化流程,经一次独立上下文的审计后入目录;命中既有技能的能力键时不新建,而是合并簇后重写,二次审计通过才替换。
反向路径是技能引导的行为本身落成新的记忆与事实,供下一轮技能修订。第三块是结果回流:只对当次真正进入上下文的记录更新检索统计,不改写记录文本。22
关键结果:
  • ALFWorld 流式成功率 63.17%,对照 ReAct 51.50%、只用记忆 59.83%、只用技能 50.50%(冻结 Qwen3-8B,600 个任务)。
  • 十个任务流汇总 Overall 52.26%,ReAct 是 32.20%,同表最强基线 39.92%。
  • 换骨干仍为正:Qwen3-1.7B 从 13.50% 到 27.67%,GPT-4o-mini 从 28.33% 到 40.00%,都从空状态起自建外部状态。
  • 姓名替换版 DialSim 74.24% 对最强基线 47.85%:检索提供的确实是题目里读不出来的信息。
  • 冻结状态对照(同一已学状态、100 个留出任务):75% 对长度匹配的随机记录 58%;把技能换成检索到的记忆得 72%,且技能上下文注入 token 少约 62%。
  • 关掉结果回流通道 59.67%,全开 63.17%(+3.50 个百分点);两通道交互项 +5.33 个百分点。22
证据与局限:十个任务流、五个领域,全是公开基准,没有自建基准;三个骨干(主用 Qwen3-8B,另两个只做 ALFWorld)。没有统计检验与区间,作者自述投放分析与状态分析都是描述性的。MBPP 上低于 ReAct(80.42% 对 81.30%)。
原文自述的限制很关键:结果回流把同一任务结果赋给所有被投放的记录,无法识别单条记录的因果贡献,也不估计事实是否为真;依赖可观测的成功信号;技能审计只对照选定记录筛查。
我判断真正撑住「双向」结论的只有 ALFWorld 一条流,机制解释也只在该域给出,其余九个设置基本是单轮性能表。三层增益的量级也不同:技能继续修订 +1.17 个百分点、结果回流 +3.50 个百分点,而整套系统相对 ReAct 的总增益是 20.06 个百分点(十流汇总)。前两层只有单域开关消融撑着,最该被复现的回流层恰恰属于这一类。
复现:https://github.com/tianyi0216/Memcryst.git 。
与目标研究线的关系:可搬的是一套「状态分层加更新所有权」协议:内容更新(写记忆、合并事实、重写技能)与使用更新(只改被投放记录的检索统计)在时序上必须分开,而且结果回流先于写入,使当次结果不能回灌当次新记录。这是自进化系统防自证的关键约束。
第二件是 prequential 评测口径:先答题再更新,把冷启动与在线错误都算进去,避免「离线回测记忆库」的虚高。
来源:官网条目 · arXiv 原文
记忆与技能的双向闭环
图 1 是框架总览:任务记忆经聚簇、合成、审计变成技能,技能引导的新轨迹又写回记忆;底部那条虚线是只改统计、不改文本的结果回流。内容更新与使用更新的分工,就画在虚线与实线之间(arXiv:2610.32295)。
站内摘要出入:无。

23. 随机选干预点 58.7%、结构化选点 65.9%:钱该花在选点上 · arXiv:2610.32802 · 精读

Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond · arXiv:2610.32802 · 精读
作者与机构:六位作者均署清华大学。
研究问题与核心方法:
多轮智能体的在线蒸馏要对齐教师反馈,但先得决定两件事:在哪里给指导,以及学生接不接得住。
现有做法要么在整条轨迹上均匀给监督,要么只按师生分歧挑点,都不检验学生在短暂接管之后能不能自己走下去。
作者把这两个条件合成一个概念:学习边界——既仍然困难、又能在教师短桥接之后获得有用自主延续的决策情境。
实现上,把学生在线采样出的多条轨迹按观测与可选动作的归一化哈希映射成共享状态键,构成任务级有向轨迹图。候选打分用带符号的 token 级对数概率差(学生减教师),并按「轨迹等权、轨迹内到访等分」聚合到节点,避免打转的轨迹靠访问次数刷分。
选中节点后回到该历史重放,让教师最多接管一轮生成短桥接,再让学生续写三轮;「桥接加续写」窗口与原始轨迹等长片段的一致度不降才接受。被接受的教师回复以普通蒸馏样本进入更新,随后重建图、刷新边界。23
关键结果:
  • ALFWorld 成功率 45.5 ± 2.0,对照上一版方法 40.0 ± 3.1、普通在线蒸馏 22.1 ± 2.8、零样本学生 8.2、零样本教师 47.8(Qwen3-32B 教师 → Qwen3-1.7B 学生,3 seeds)。
  • WebShop 成功率 58.3 ± 1.5、任务分 40.0 ± 2.4;ScienceWorld 14.5 ± 0.5(零样本教师 17.6)。
  • 换更强的教师(8B 强化学习版)仍最高:1.7B 学生 ALFWorld 65.9 ± 3.0、4B 学生 74.6 ± 2.6。
  • 组件消融(8B 教师 → 1.7B 学生,ALFWorld):完整 65.9/随机选择 58.7/去掉桥接数据 62.2/接受全部桥接 63.7。随机选择掉得最多。
  • 训练效率:每步开销最高,但达到 55% 解决率的耗时在本次测量中最短(具体秒数只在图 4)。23
证据与局限:三个公开交互基准 × 两个学生规模 × 两种教师配置,训练结果是 3 seeds 的均值±样本标准差;作者明确声明这不构成统计显著性。四组组件消融,两组敏感性扫描只有趋势、无最优值。
缺的是一项直接测量:训练后原本需要教师的情境能否独立解决。边界估计靠行为代理——高分歧未必等于缺技能;状态抽象基于观测哈希,可能把学习需求不同的历史合并。
我判断它的核心机制与上一版方法同族,增益幅度(ALFWorld +5.5 个百分点、WebShop +0.6)正好落在 seed 标准差的量级附近,应当作「管线可复现、收益需多 seed 确认」的候选。
复现:https://github.com/jiangz20/FrontierOPD 。默认配置:轨迹数 4、候选节点 4、教师接管 1 轮、学生续写 3 轮、4 次重复采样。
与目标研究线的关系:最可搬的是「能力边界」的操作定义与它的两个反例:不要用单一分歧量当边界(会挑到教师自己也含糊的点),必须配一个「学生接管后是否变好」的行为验收。
消融给出了自进化里最容易踩的坑的量化证据:随机选干预点 58.7,结构化选点 65.9——分配预算的方式比预算大小更重要。
失败归因也能借:把监督拆成「有没有拿到针对性教师回复」与「拿到后有没有筛」两个因子,能区分采集问题与过滤问题。
来源:官网条目 · arXiv 原文
四步流程
图 2 是四步:探索学生轨迹、在共享状态图上定位边界节点、用学生续写验收教师短桥接、把被接受的桥接数据并入更新。第三步是它与只按分歧选点的方法分开的地方(arXiv:2610.32802)。
站内摘要出入:无。原文对效率结论的限定是「在一个 ALFWorld 计时设置下」。

24. 只给主题名,MMLU 从 37.5 到 47.7;但域外平均只 +0.8、MATH-500 退 4.9 · arXiv:2610.32770 · 值得扫读

On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models · arXiv:2610.32770 · 值得扫读
作者与机构:第一作者 Leon Sick(Google 与乌尔姆大学双署名),合作者分属 Google 与乌尔姆大学;原文注明工作完成于在 Google 实习期间。
研究问题与核心方法:
在线自蒸馏可以不用更强的外部教师,但既有做法仍要真值问答对、人工整理的问题集或其他监督信号——「谁来出题」还是人决定的。
作者把监督压到极限:只给若干粗粒度主题名,问题与特权推理都由模型自己合成,看它能不能在几乎没有人工数据的情况下自我改进,同时不忘记没训练过的领域。
循环是这样的:生成器按主题采样出问题与特权信息,学生只看问题,教师看问题加特权信息,学生沿自己的采样去匹配教师的下一 token 分布;教师是学生的指数滑动平均,不是外部模型。
入训前两道过滤方向相反:伪验证要求换新上下文、不给特权信息、低温下能复现同一答案,且题目改写后答案不变;共识门则要求学生在多次采样上并非全票等于候选答案,从而丢掉已经会的题。两者合起来把课程压在能力边界上。24
关键结果:
  • Gemma 4 E2B(无 thinking):MMLU 37.5→47.7(+10.2)、GPQA 28.8→32.8、HellaSwag 48.7→56.2,平均 38.3→45.6。同样自生成数据上做监督微调平均 40.0、做 GRPO 39.3。
  • 有 thinking 的 4B:MMLU 76.0→80.1、GSM8K 84.4→93.0,平均 71.3→76.0。
  • 与同样无参考解的方法比:平均分高于 u-OPSD 1.0–2.8 分、高于 R-Zero 1.4–5.2 分。
  • 域外:三主题混合训练的平均 +0.8,但 MATH-500 回退 4.9 分;MMLU+HellaSwag 组合下回退 8.5 分。
  • 过滤消融:不过滤 42.7 → 加伪验证 45.4 → 再加共识门 47.7。
  • 噪声鲁棒性:把 75% 候选答案换成错答案并关掉过滤,本法只掉 1.9 分、仍高于基座 3.3 分;监督微调掉 5.7 分、反低于基座 4.4 分。24
证据与局限:四个域内基准加三个域外基准加两个视觉基准,全是公开基准;三个模型,作者自述实验限于小模型。主表是单次运行的点估计,方差在附录以 3 seeds 报,标准差 ≤1.2 分,没有显著性检验。
原文自述:只能放大已有知识;伪验证测的是自一致性而非正确性,稳定的错误仍会进训练;主题名是人工挑的;缺无标签的停止准则。
我判断「完全无数据」仍以人工主题名为种子,而主题名决定课程覆盖——三主题混合时域外只 +0.8、MATH-500 −4.9 就是边界的直接体现。主要增益集中在 2B 无 thinking 这一格,4B 与有 thinking 的格子缩到 1–4 分。
复现:原文未提供代码或数据。
与目标研究线的关系:三件小东西可以直接搬。把自生成答案当「教师上下文」而不是「优化目标」——同样数据下监督微调 40.0、本法 45.6,且在 75% 错答注入时前者崩到基座以下、后者只掉 1.9 分。
「换视角复现 + 改写不变」做伪验证、「学生并非全票」做难度门,两道方向相反的过滤器构成一个不需要标签的课程选择器。
评测口径上还有一个诚实的负结果可抄:多域自训练必须同时报域外逐项值,只报平均会把 MATH-500 的 4.9 分回退藏掉。
来源:官网条目 · arXiv 原文
自训练闭环
图 1 是闭环:只由主题名触发生成,经问答伪验证与难度过滤后进入数据池,再回到模型训练。两道过滤的方向相反——一道筛掉记不住的,一道筛掉已经会的(arXiv:2610.32770)。
站内摘要出入:有出入。站内写「保留未训练领域的能力」,原文自述域外保持「有好有坏」:MATH-500 在 MMLU+HellaSwag 组合下回退 8.5 分、三主题混合下回退 4.9 分。

六、语音与音频:长对话崩溃、延迟预算与约束下的合成

今天语音与音频栏本身只有 8 篇新提交,没有一篇是 TTS 或语音合成评估:两篇声源分离与说话人提取(电动车内噪声、流式视听目标说话人提取)、一篇音乐生成、一篇音乐驱动编舞、一篇演唱情感识别、一篇音频语言模型人格化、一篇手术器械视听定位、一篇语音增强。
C 线的三篇因此全部来自自然语言处理栏,主题也正好落在 TTS 与播客真正缺的三件事上:长对话会不会崩、延迟能不能调、约束下的合成如何评测。
Why Full-Duplex Speech Models Collapse 给出了一套可复用的退化测量:重复率、长时间静音、无意义输出三条 onset 曲线,加两种免重训修复——重复率从 65% 压到 0%、静音从 100% 压到 7.5%。X-Dubbing 把时长与停顿做成生成约束,ASR-BLEU 42.34 对最强基线 38.44,停顿 IoU 0.551 对 0.307。DIAL-S2ST 用配对采样让一个适配器覆盖整条延迟前沿,只花 16M 参数。252627

25. 40 次长对话回放:重复率 65%→0%、静音 100%→7.5%,而失败时间与缓存窗长成线性 · arXiv:2610.32349 · 精读

Why Full-Duplex Speech Models Collapse in Long Conversations · arXiv:2610.32349 · 精读
作者与机构:第一作者 Yeonju Kim,韩国科学技术院(KAIST)视觉与语言实验室;庆熙大学参与。
研究问题与核心方法:
全双工语音模型边听边说,每一帧都在产 token,听话时也在产。上下文几分钟内就被语气词和静音填满,但现有全双工基准只测单轮或少数几轮,短到看不出问题。
作者要回答三件事:这些模型能不能撑住几十分钟的连贯对话、崩的时候按什么顺序崩、崩塌能不能归因到具体的缓存管理策略。
基准有两条互补轨道。一条用真人长对话做固定回放,去掉前三轮寒暄后按剩余时长排序取最长 40 段,最短、均值、最长分别是 55.5、67.4、92.6 分钟,每段评估至多 60 分钟。另一条用语言模型生成伙伴话语、再用合成语音形成闭环,40 个会话各至多 20 分钟。
失败按三种模式定义起点:词级四连重复在 32 词窗口上占比 ≥0.30 且连续两窗;一分钟桶内少于三词且连续两桶;判官逐分钟判为无意义输出。
诊断聚焦两个滑窗模型,提出两个免重训的推理期修复:永久保留第一个缓存条目,以及对最近 512 个词级 token 施加重复惩罚并补偿填充标记的相对抬升。25
关键结果:
  • 出现重复的回放比例:Moshi 65%→0%,PersonaPlex 90%→2.5%(40 次回放,单次不超过 60 分钟)。
  • 长时间静音:Moshi 100%→7.5%,PersonaPlex 85%→47.5%;受影响运行里 94.7% 在两分钟静音后一分钟内恢复说话。
  • 无意义输出:两个基线都是 100%,修复后都是 0%。
  • 无失败运行数:基线 0/40,只保留第一个缓存条目 40/40;上句三种配置的实时因子依次是 0.5957、1.0323、0.7525(PersonaPlex,RTX A6000 五次测量)。
  • 失败起点随窗口长度线性推移:静音 (1.63±0.49)W,无意义输出 (2.70±0.20)W;纯静音输入下无意义输出仍是 (2.54±0.19)W。重复不随窗口推移。
  • 只保留第一个缓存条目就让全部运行免于无意义输出;改留第二、三、四、五、九、十七个,或四分之一、一半、四分之三处的条目,都至少有一次失败。25
证据与局限:每系统 40 次运行、两轨道共 80 次,五个模型跨滑窗与增长上下文两种设计;失败起点用生存分析处理「还没崩就结束」的样本;无意义输出的判官有 8 名评分者盲听验证;实时因子五次重复带标准差。
弱点:诊断只在两个滑窗模型上做,消融只有 Moshi,跨模型不能直接比(观察长度不同)。基准自建,真人对话只发清单不发音频。没有统计检验,主结果报的是频次而非区间。
我判断这是少见地把「长时程退化」拆成可测量起点并配因果干预的工作,但「因果」仍靠单一模型族的两组受控实验撑着;换成非滑窗、带显式摘要记忆的架构,机制是否存在完全未知。
复现:原文未提供,只声明发表后会放出运行代码与指标代码。修法依赖「训练时每个分块都从空缓存开始」这一滑窗预训练前提。
与目标研究线的关系:可搬的是评测骨架:把退化拆成重复、长时间静音、无意义输出三条互不替代的起点曲线,并用右删失处理「还没崩就结束」的样本。这正是长播客、多集连播脚本缺的评估方式。
第二件是归因方法:先改一个受控变量(这里是缓存窗长),看失败时间是否随它线性推移,再据此设计只动一处的最小干预。
迁到文本侧要改三处:失败单位从 12.5 Hz 帧上的语音 token 变成词与句,重复阈值 0.30 与 32 词窗口需要在文本上重标定;重复惩罚窗口 512 对数千词的剧本要放大;「保留第一个缓存条目」依赖滑窗预训练前提,常规自回归模型没有对应物。
另外全文没有任何音频质量指标(MOS、UTMOS 都没有),不能当 TTS 论文引用。
来源:官网条目 · arXiv 原文
五个模型的失败生存曲线
图 7 上下两排共六条生存曲线:五个模型在重复、长时间静音、无意义输出三条轴上各自何时失守,以及加上修复后被压平到 95%–100% 的那两条。长对话里的「崩」不是一个点,而是三条可以分别测量的曲线(arXiv:2610.32349)。
站内摘要出入:无。

26. 配音同时对上时长、停顿与口型:ASR-BLEU 42.34 对 38.44、停顿 IoU 0.551 对 0.307 · arXiv:2610.32042 · 精读

X-Dubbing: Speech-to-Speech Translation under Temporal and Visual Constraints · arXiv:2610.32042 · 精读
作者与机构:第一作者 Jeongsoo Choi(KAIST),合作者来自中央大学与 KAIST。
研究问题与核心方法:
固定画面的跨语言配音有三个约束同时成立:译文要忠实、要在源视频的时间里自然说完、还要对上口型。
现有两条路都不完整。时序感知翻译在孤立模块里做,看不见细粒度视觉边界,局部对不齐、语速被扭曲;视频感知的语音合成拿到的是未受约束的译文,只能靠拉伸语速去凑长度。
作者要把两者在共享的时间预算上耦合起来,而且不依赖配对的配音数据。
翻译端用 Qwen2.5-Omni-3B 初始化,输入源语音和由语音活动检测导出的时间预算(总时长、语音区间、区间间停顿),输出夹带停顿标记的目标语脚本。监督信号来自「等时归一化投影」:先用语言级平均音节速率把源时间预算按目标句应有的说话时长缩放,再按源语音段时长比例分配音节、在最近词边界插入停顿标记。
合成端建在 DiT 加条件流匹配的骨架上,用两种帧级条件:语音活动序列与口型同步的视觉嵌入,两者分别预测缩放与偏置后相加;训练时对两种条件各以 0.5 概率独立丢弃,缓解训练同语言、推理跨语言的错配。
最后用冻结的合成器渲染候选译文,按四项准则构造偏好对,对翻译端做直接偏好优化。26
关键结果:
  • ASR-BLEU 42.34,对照 SeamlessExpressive 38.44、Hibiki 37.35、AV2AV-Speech 33.53、Dub-S2ST 23.69。
  • 停顿 IoU 0.551,对照 0.307/0.166/0.111/0.106。
  • 时长落入 ±40% 的片段占比 100.0%、±20% 是 97.1%(对照 Hibiki 94.1/75.3)。
  • 口型同步 LSE-C 2.58、LSE-D 11.30,对照 Hibiki 1.48/12.62。
  • 音节速率相关 ρ=0.617,对照 Hibiki 0.295;说话人相似度 0.497 高于 Hibiki 的 0.358,UTMOS 3.748 则略低于 3.864。
  • 主观评测(15 人 × 12 段):视听一致性 4.01、整体自然度 3.99,对照级联方案 3.13/3.54。26
证据与局限:单一语言对(法译英)、单一测试集,四个开源基线覆盖四种思路,另有四组级联基线作为「同一对预训练模型下」的对照;消融分翻译与合成两张表,主观评测 15 人 12 段。
没有区间、没有多种子方差、没有显著性检验;主表与消融表用同一测试集,属在同一测试集上既调又报。
我判断 DPO 的偏好数据只来自帕累托占优,而四项准则里三项是自动指标,「译文更好但口型或停顿略差」的折中样本会被整体丢弃,它优化的其实是可行域内的对齐。时长 ±40% 那列已到 100.0,天花板效应让这一列失去区分力。
复现:原文未提供代码。训练配置:LoRA rank 8、α=32;翻译端训练数据 11,092 段、14.9 小时,合成端 95,474 段约 200 小时,偏好对 7,752 组。
与目标研究线的关系:这是本批离 TTS 生成与评测最近的一篇,三样东西可搬。
评测四件套:停顿区间 IoU(只在含源停顿的片段上平均)、源与生成语音的音节速率 Spearman 相关、时长落入 ±p 的片段占比、口型同步指标。它们比单看 MOS 更能区分「是长度错了还是节奏错了」,可直接用于多语版本与时长控制评测。
训练配方:用音节速率归一化把只有语音与文本对的数据伪造成带停顿标记的时序监督。固定时长的栏目同样可以先用语言平均音节速率把目标时长折成音节配额,再反推脚本长度约束。
反馈闭环:把候选送进冻结的合成器渲染,再用渲染结果的指标做偏好优化——这条「下游语音反馈回传上游文本」的路径可以直接搬到「脚本→合成→评测」的播客流水线。
迁移要改的:这里的时间预算由源语音导出,播客没有源语音可对齐,得换成栏目时长与段落配比预算;视觉条件在纯音频播客里没有对应物。
来源:官网条目 · arXiv 原文
两阶段总览
图 2 左右两半:左半是监督阶段,翻译端与合成端同时可训;右半是偏好优化阶段,合成端冻结、每个译文渲染多份、过四项多模态准则后再回灌给翻译端。下游合成结果反过来约束上游文本,就发生在这两个半区之间(arXiv:2610.32042)。
站内摘要出入:无。

27. 一个 16M 适配器覆盖整条延迟前沿:匹配 1.8/2.3/2.8 秒时 32.5/34.8/35.6 · arXiv:2610.32214 · 值得扫读

DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation · arXiv:2610.32214 · 值得扫读
作者与机构:Jeongsoo Choi、Junseok Ahn、Joon Son Chung,韩国科学技术院。
研究问题与核心方法:
流式同传模型把译文文本与目标语音作为并行 token 流联合生成,「什么时候说」和「说什么」被耦合在同一批预测里,训练完就没有可调策略。
已有的推理期手段只有两种:偏置特殊 token 的 logits,实测质量与延迟的权衡很差;或者对时间平移后的对齐做监督微调,每个工作点要单独训一次。
作者要在单一模型内做到推理期可调延迟。做法是带前瞻的同策略自蒸馏:教师是冻结的预训练模型,能看到 k 秒额外源语音;学生是同一模型加一个低秩适配器,只看当前及之前的源语音。
文本项是带前瞻的散度,把教师「已经听到下文才说得出」的词提前教给学生;同时用不带前瞻的教师语音分布做正则,防止改文本时序把语音带偏。前瞻会带来模仿鸿沟,所以对超过阈值的文本项做屏蔽。
延迟可控性靠「前瞻长度与适配器尺度配对采样」:每步随机采 k,并令尺度等于 k 与上限之比,推理时只调这个尺度就能换工作点;尺度为零精确还原预训练模型。27
关键结果:
  • 尺度 0.5 时:ASR-BLEU 34.4、平均翻译延迟(LAAL)2.16 秒、结束偏移 1.73 秒(输出比源语音结束晚多少,与前者量的不是同一件事)、说话人相似度 0.391、UTMOS 3.41。
  • 匹配延迟 1.8/2.3/2.8 秒时,BLEU 是 32.5/34.8/35.6;对照自训练是 32.0/33.2/34.3,off-policy 教师轨迹蒸馏是 31.1/34.6/35.5。
  • 去掉文本项屏蔽:33.1 与 2.20 秒;去掉语音正则:32.7、相似度 0.337、UTMOS 3.33。
  • 把前向散度换成反向散度会导致崩塌为静音(原文未给数值)。
  • 域外数据训练与域内相当:BLEU 34.0 对 34.0,延迟 2.06 秒。27
证据与局限:只有一个语言对、一个底座、一个测试集;四个对比系统的可调延迟幅度各不相同。每种配置三个种子并做权重平均,属工程稳健性而非统计检验;没有区间,也没有人工评测(原文自述)。
数据效率是全文最硬的部分:约 10 小时源语音、500 步、16M 可训参数。但它是在一个已经很接近目标域的底座上做适配,收益不能读成「从零学会同传」。
我判断尺度与延迟不是一一映射,「调一个旋钮」实际把标定成本转给了使用者;底座换代就要重标。
复现:原文未提供代码。关键配置:适配器 rank 16、加在时序 Transformer 的每个线性层,学习率 5e-5,500 步。
与目标研究线的关系:可搬的是「用配对采样让一个适配器覆盖整条权衡曲线」:训练时把控制量与适配器尺度绑定随机采样,推理时只调尺度。任何需要「一个模型跑多个延迟或时长档位」的合成场景都能照此实现,代价是一个低秩适配器而非每个工作点一份权重。
第二个是评测口径:平均翻译延迟与完成延迟分开报,比单一「延迟」更能区分「起步慢」与「收尾拖」。
迁移要改的:这里的延迟来自源语音还在继续,单向合成没有「等待源」这一项,要换成首包延迟与整体时长偏差;蒸馏的目标是教师的前瞻分布,没有教师时必须换成「用更长上下文做教师」的改写。
它不涉及音色、韵律与表现力,价值在方法骨架与延迟指标,不在音频质量结论。
来源:官网条目 · arXiv 原文
质量与延迟的散点
图 2 横轴是延迟、纵轴是译文质量:红色实线是本文单一适配器在不同尺度下的整条前沿,灰色曲线是偏置特殊 token 的旧办法,在高延迟端明显下坠。一个适配器与一条前沿的区别,就在这张图的连线上(arXiv:2610.32214)。
站内摘要出入:无。

七、邻近跟踪:能借的是方法骨架,借不到的是结论

这一节七篇都不直奔四条线,各自的连接点写在条目里,迁移时要改什么也一并写清。
按距离排:Solvent 的训练课程与门控奖励、DealsFlow 的证据门控与泄漏审计、科学仪器那篇的「先用冲突率证明静态映射不成立」——这三篇给的是方法骨架。蛋白口袋与情感技能库这两篇给的是「经验复用为什么不成立」与「技能库怎么当外挂模块」。
离内容侧最近的是两篇:金融外呼的用户模拟器(第 31 篇)给出「画像条件化加分层奖励」的训练配方,微短剧剧本生成(第 34 篇)的重复度量可以直接改造成栏目级同质化指标。28293031323334

28. 四基准平均 61.86%,同规模专用模型 19.03%:课程把 0.18% 推到 61.86% · arXiv:2610.32308 · 邻近跟踪

Solvent: Long-Horizon Reasoning for Multi-Step Retrosynthesis · arXiv:2610.32308 · 邻近跟踪
作者与机构:第一作者 Yifei Wang(复旦大学与上海人工智能实验室),另有清华大学与上海人工智能实验室参与。
研究问题与核心方法:
多步逆合成是天然的长程任务:递归分解、核查前体可得性、按反馈改路线。现有做法要么把搜索留在模型外面,要么让模型一次性吐出整条路线,开环、无反馈。
作者要把全局策略、逐步断键、库存核验、自适应修订全部收回模型内部,用后训练而不是外部搜索获得这一能力。
8B 主干,两轮课程。第一轮先蒸馏领域直觉,再用教师轨迹做长程推理冷启动——任务写成多轮交互,模型给出推理与动作,动作要么查库存、要么提交路线,环境返回前体可得性;随后用分组策略优化巩固,奖励由路线、验证、格式三项加权。第二轮先用拒绝采样做推理自举,再跑一次更严格的策略优化,其中两个辅助奖励项以主目标为门控。28
关键结果:
  • 四基准平均成功率 61.86%(Pistachio Hard 62.00、Reachable 78.00、USPTO-190 48.95、ChEMBL-1000 58.50)。
  • 同规模专用模型平均 19.03%,高 42.83 个百分点;与前沿模型比是 63.03%(Kimi K3)、63.57%(GPT-5.5)、59.15%(Grok 4.5)。
  • 课程阶梯 0.18%→6.26%→22.82%→29.19%→61.86%;最后一次策略优化从 29.19% 到 61.86%,绝对增益 32.67 个百分点。
  • 搜索预算 100 时四基准平均 93.22%,全预算区间都最高。28
证据与局限:四个公开基准、12 个模型对照、9 个搜索式系统,训练与评测做了指纹级去污染,代码与权重公开。没有误差棒与多种子方差;与前沿模型比只在共享的 400 个目标子集上评;成功由固定验证器加库存定义,是在硅片上的代理。
与目标研究线的关系:连接点在训练课程的组织方式,不在领域。可搬的顺序是:先把领域知识蒸馏成热身策略,再用教师轨迹冷启动长程行为,再用策略优化巩固,再用拒绝采样抬高起点,最后用更严格奖励跑第二轮。
其中「辅助奖励项以主目标为门控」是一条可直接抄的工程经验——只有主目标达成时,验证与格式分才计入。
迁移要改的:这里的反馈是二值的库存可得性,脚本类任务的事实核查反馈是文本级、带置信度的,验证项要重新设计;成功判据是单一验证器,而内容质量是多维且主观的。离 TTS 与播客很远,只提供训练阶段的排法。
来源:官网条目 · arXiv 原文
两轮课程与智能体环
图 2 左半是五个阶段的阶梯:冷启动 6.26%、第一轮 22.82%、自举 29.19%、最终 61.86%(+32.67 个百分点);右半是「首试、库存反馈、自适应修订、最终答案」的环。阶梯与环共同说明:长程能力是被课程一段段推上去的(arXiv:2610.32308)。
站内摘要出入:口径需注意。站内「经强化学习获 2.1 倍提升」对应最后一次策略优化的 29.19%→61.86%,不是整条课程的 0.18%→61.86%。

29. 142 笔成熟投资上 ρ=0.451,而无约束模型是 0.381:差别在「只降不升」 · arXiv:2610.32380 · 邻近跟踪

DealsFlow: An Evidence-Gated Agentic Harness for Venture Capital Deal Triage · arXiv:2610.32380 · 邻近跟踪
作者与机构:第一作者 Ming Ze Tang(贝尔法斯特女王大学),另有 Sapphire Capital Partners 参与。
研究问题与核心方法:
让模型直接给投资打分有三个已知病灶:宣传语导致分数通胀、同一设置下跨运行漂移、理由不可审计。
作者要在真实早期基金的生产环境里做一个「只降不升」的证据门控 harness,并把这类评估最容易骗自己的两个通道——前视偏差与幸存者偏差——当成评估的中心问题显式测量。
三个机制。第一,阶段感知的佐证上限:四个事实类若未被外部来源佐证,分数被封在 78(早期)、70(未知阶段)、60(成长期),佐证标签由代码判定,只有外部与注册类算数。
第二,非对称怀疑者:第二次调用只允许下调,每类至多 20 分。
第三,声明式依赖预取:公司注册快照与至多 10 条模板化网络查询在单次生成前全部取回并编号,来源清单与每道闸门前后分数留存审计。合分在代码里做,六类权重在评估前冻结。29
关键结果:
  • 成熟投资 142 笔上,复合分与回报倍数的 Spearman ρ=0.451(95% CI [0.317, 0.570]),识别减记的 AUC₀=0.709;无约束模型 ρ=0.381、AUC₀=0.681。
  • 分项消融:仅上限 ρ=0.384,仅怀疑者 ρ=0.435,完整 0.451。
  • 佐证率随结局分化:大于两倍组 63.6%,减记组 37.8%(Kruskal–Wallis p=0.031)。
  • 只看佐证比例的基线 ρ=0.216;结构化字段逻辑回归 ρ=0.27。作为年代混淆的检查:在全部 243 笔上,仅凭进场年份就能得到 AUC 0.72,这也是原文把泄漏与年代当成中心问题的原因。
  • 分析师时间 44.69 分钟降到 18.85 分钟,配对节省 25.84 分钟(95% CI 22.99–28.86);加上 6.13 分钟机器时间后仍低 44.1%。
  • 240 条引用主张中 84.2% 被来源完全支持,10 条不支持;20 份报告里 14 份至少需一处更正。29
证据与局限:243 笔真实投后组合、142 笔成熟样本、10,000 次 bootstrap、四配置消融加三类记录型基线,另有交叉平衡的时间研究与双人标注(κ=0.751)。它主动做了泄漏审计,并明说区间重叠、不主张优于结构化回归。
弱点是单一基金、单一模型;每笔只评一次,运行间方差未测;分析师研究只有 20 份且参与者就是作者团队;未做配对显著性检验。
与目标研究线的关系:可搬的是评估纪律,不是评分器。「模型给分、代码按规则封顶或下调、第二次调用只许下调、全程留存来源与闸门前后分数」这套结构,可以整段移植到内容侧的质量门:脚本事实核查里模型只做标注,分数由代码按「引文是否在检索快照中命中」计算。
第二件是把它对「评估会不会骗自己」的自检做成了清单:按结局分组报佐证率、跑一条「只看证据可得性」的基线、限制样本成熟度、明列未控的泄漏通道。这套清单可以直接用来审视自己的好稿差稿评测集——高播放内容天然有更多二次报道,检索式核查会因此虚高。
迁移要改的:这里的结局是财务回报,可观测但滞后三年,内容侧没有等价标签,只能换成人评或留存这类代理,泄漏通道的形态也不同。
来源:官网条目 · arXiv 原文
四段流水线
图 1 四条横带:摄取与证据预取、确定性分诊(含 78/70/60 封顶与非对称怀疑者)、通过闸门后的并行准则评估、只追加的审计记录与人工批准。模型只出现在第一与第三段,合分与封顶都在代码里(arXiv:2610.32380)。
站内摘要出入:有出入。站内写「243 项投资评估」,原文 243 只是组合规模,主结果的 ρ=0.451 来自剔除近两年 73 笔后的 142 笔成熟投资;「三种仅降分的机制」也不准确——只有怀疑者那一步是调分器。

30. 实机 409 炮、出束率 86.80%;同一实验台对人工是 86.11% 对 83.83% · arXiv:2610.32370 · 邻近跟踪

Adaptive Control of Scientific Instruments with Nonstationary Responses through Multimodal Agents · arXiv:2610.32370 · 邻近跟踪
作者与机构:第一作者 Guoyang Shi,参与机构为北京亿能聚变能源科技、北京市高磁场球形环聚变重点实验室、河北省紧凑聚变重点实验室。
研究问题与核心方法:
科学仪器调参要逐次按反馈推进。当未观测的工况随操作历史演化,响应就变成非平稳的,静态的动作—响应映射随之失效。
中性束注入离子源是典型:电极表面与真空状态无法直测,放电结果逐炮波动,实机实验昂贵且有风险。
作者要证明「确定性测量加历史条件化决策加动作约束」这套分工能在没有高保真仿真的真实装置上跑起来。
三个可独立审计的组件:确定性信号算子从多通道波形抽出符号状态并渲染成带事件标注的图,原始数值波形不直接喂给模型;双层记忆提供任务内轨迹、跨任务经验与程序性知识;多模态规划器做状态诊断、归因与候选动作。
独立的动作可行性检查在执行前做成员性检验(设备边界、逐炮变化率上限、耦合关系、击穿排除区),不合格就拒绝并重生成,操作员可随时暂停或接管,候选动作不直达硬件。30
关键结果:
  • 六分类 macro-F1:符号状态相对仅图基线提升 0.21–0.32(四个模型)。
  • 加上检索后,动作方向一致率从 55.8%/57.7%/58.2%/52.4% 升到 78.2%/85.9%/88.6%/95.1%,提升 22.4–42.7 个百分点。
  • 最强配置:macro-F1 0.94、电流 MAE 0.60 A、脉宽 MAE 9.60 ms、五参数平均方向一致率 95.6%。
  • 实机执行 409 炮、五个离子源、355 炮出束,总体束流引出率 86.80%(单源 82.81%–91.84%)。
  • 与人工调参对照:86.11% 对 83.83%,差 +2.3 个百分点,单源区间 −3.7 到 +6.0。
  • 质量—结局冲突率在动作相邻的炮对间是 54.7%,参数完全相同的炮对间仍有 44.1%。30
证据与局限:实机 409 炮、四个平台、四模型 × 五配置交叉、双人专家共识标签、严格时间序回放(检索器看不到未来)。对照人工记录用的是历史同期但不同时段的数据,不是同期配对。
文本指标依赖专家标签与一条预设的映射规则;离线「方向一致率」是复现历史操作,不等于更优决策;实机部分无对照实验、无随机化。三次连续实验只有 23 炮,趋势判断基本是定性的。
与目标研究线的关系:可搬的是「把模型关在证据与动作两端的笼子里」这一架构,以及它的失败归因顺序:先算相邻动作的结局冲突率(54.7%,参数相同也有 44.1%)证明静态映射不成立、历史必须进入决策,再逐模块做增量消融看每一层贡献多少。
这个「先用冲突率证明问题存在、再用分层消融定位贡献」的顺序,可以直接用来论证长播客、多集内容里「同样写法不同结果」的不可预测性,并据此决定记忆与检索该接在哪一步。
迁移要改的:物理符号是确定性算子从波形算出的可核验量,内容侧最接近的替代是可核验的结构化事实(时长、句数、信息密度、引文命中);动作可行性检查在内容侧对应硬规则过滤,同样应放在模型之外、执行之前。
来源:官网条目 · arXiv 原文
系统总览
图 3 把「原始数值波形不得直送模型」画在最左边:波形先经确定性算子得到符号状态与标注图,再叠记忆检索进入规划器;候选动作必须过成员性检验才到 PLC,另有两道否决——操作员可暂停接管、候选不直达硬件(arXiv:2610.32370)。
站内摘要出入:无。

31. 五个分数里唯一没赢的是合规率:52.25% 对 GPT-5 的 62.01% · arXiv:2610.32435 · 邻近跟踪

Profile-Driven User Simulation via Reinforcement Learning with Hierarchical Rewards for Task-Oriented Dialogues · arXiv:2610.32435 · 邻近跟踪
作者与机构:Bairong Inc.(百融),作者 Juan Li、Fangshu Chang、Xinyi Jiang、Ling Huang、Yunzhang Chen。
研究问题与核心方法:
金融营销外呼这类高价值场景缺领域对话数据,用户模拟是出路。但现有模拟器面向通用域,既不建模业务流程与合规约束,也不捕捉语音交互的口语特征。
作者用双层画像驱动:用户画像(人口统计加五大人格)与业务画像(从真实通话日志反推的意图)共同条件化生成。
底座 9B:先在 72,296 通真实外呼对话上做低秩微调,再用分组策略优化在对话级与话层级的分层奖励上训练,训练时与一个独立的客服模型在线交互产生轨迹。对手方客服智能体带标准作业约束与检索。
产出的数据规模是 3,000 段会话、约 20,000 轮问答、平均 7 轮。31
关键结果:
  • 分布对齐困惑度 17.49(全量微调 17.52,仅业务画像 43.04,仅用户画像 22.24,无画像 58.48)。
  • 口语自然度 4.97(GPT-5 4.21、自家全量微调 4.46;1–5 分 LLM 判官)。
  • 用户画像贴合 92.55(自家微调 84.29,四个通用 LLM 最高 84.05)。
  • 下游弱项暴露得分 3.49(通用 LLM 4.18–4.45,越低越能压出固定客服的弱点)。
  • 业务画像合规率 52.25%,低于 GPT-5 的 62.01%——唯一没赢的一项。
  • 平均用户话长 11.14 字符,GPT-5 是 44.54、DeepSeek-V3 是 153.96。31
证据与局限:单域、单语种;五个对照里四个是零样本通用模型,唯一的同类专用模拟器因语言与条件不匹配被排除,等于没有直接对手。每生成器 3,000 段会话;判官样本人工抽检 κ≥0.72;没有区间与显著性检验。
两个最实用的卖点(可用于意图识别训练、冷启动部署)在原文只写作「设计上支持」,没有对应实验。
我判断唯一没赢的那项恰是金融合规最要紧的一项,原文用「口语化表达更隐含、显式复述反而容易过合规判据」解释,这个解释本身没有被独立验证。
与目标研究线的关系:可搬的是「画像条件化加分层奖励」的配方,以及它的阶梯式对照拆法:无画像、仅业务画像、仅用户画像、双画像、再加策略优化,逐级困惑度 58.48→43.04/22.24→17.52→17.49。它把「数据像不像真人」拆成了可控因子。
另一个可借的是指标设计:用固定下游智能体的得分反向衡量模拟器价值。但要注意原文并没拿这些数据去训练下游模型,所以只证明了「更难」,没证明「更有用」。
来源:官网条目 · arXiv 原文
ProfileSim 闭环
图 1 左右两侧闭环:左边用户模拟器经画像抽取、真实语音微调、对话级与话层级策略优化;右边带标准作业约束与检索的客服智能体。两侧互喂产出多轮对话数据,画像在这一层决定「像不像这个人」(arXiv:2610.32435)。
站内摘要出入:有出入。站内「表现优于现有用户生成器」抹掉了唯一未胜项(业务合规 52.25% 对 62.01%);「可用于意图识别训练、评估与冷启动部署」也强于原文的「设计上支持」。

32. 键看上去分出 +53.3 个百分点,配平一个便宜变量后区间就含零 · arXiv:2610.32620 · 邻近跟踪

What Transfers Across Protein Pockets? Experience Reuse in Molecular Optimization for Agentic Structure-Based Drug Design · arXiv:2610.32620 · 邻近跟踪
作者与机构:第一作者 Zaifei Yang(香港科技大学),合作者来自香港城市大学与北京雁栖湖应用数学研究院。
研究问题与核心方法:
智能体在蛋白口袋里逐步编辑配体并逐次对接打分。近年做法会先花额外对接做「探针」,但探针随实例一起被丢掉。
自然的下一步是把它们存成经验库让新口袋继承。可跨口袋复用必须通过一个「键」来读:哪些记录属性用来归池、新记录按什么去查。
作者要问的是:这样一个库的键,在库从未见过的口袋上还复现得出来吗;复现出来之后,还能区分「变好的编辑」和「变坏的编辑」吗。
经验库取自一个探针智能体在公开测试集口袋上的完整运行日志,共 14,341 条记录。查表规则极简:键选中所有在该组属性上一致的记录,好编辑不少于坏编辑就判「会变好」。所有评测按口袋切分,保证每条记录都由没见过其口袋的库来标注。
归因用分层风险差:把某项属性组内配平后再平均改善率之差;另用偏差校正的解释比例度量分区对残差的作用。32
关键结果:
  • 原始键判为「变好」与「变坏」的记录,改善率差距 +53.3 个百分点(95% 区间 [+47.6, +57.9])。
  • 把「重原子数变化」配平后差距降到 +2.7 个百分点,区间 [−3.0, +8.3],含零。
  • 口袋身份能解释 12.0% 的残差,而原始键只有 2.5%:口袋确实带结构,键几乎没接住。
  • 六个口袋描述符全用时,只在 17% 的留出记录上能精确命中,可评估口袋只剩 17 个。
  • 真正跨口袋站得住的是「编辑产物的配体属性」:可旋转键变化复现率 100%、解释比例 5.8%、在 85% 的口袋上优于朴素基线、平均 +8.0 个百分点。32
证据与局限:单一流水线、单次运行、单一初始配体生成器、单一打分函数、单一键族。区间是 2,000 次口袋 bootstrap 的 95% 百分位,作者声明未做多重比较校正,边际差异属探索性;解释比例是样本内点估计且无区间。没有湿实验验证,终点是对接分。
与目标研究线的关系:连接点在「经验库的键设计」。任何跨实例经验复用系统本质上都在定义一个键,键决定召回什么,也决定所谓的迁移是真迁移还是被平凡混淆变量撑起来的。
三级验收口径可以搬:先用分层风险差把候选键里可廉价计算的混淆量逐项配平,看差距还剩多少;再看分区对残差的解释力;最后用「在多数留出实例上是否胜过最朴素基线」加二项区间,而不是只看总体均值。
迁移要改三处:键的匹配方式要从精确匹配改成相似度或向量池化(原文明确未测,也正是它结论的主要边界);结果变量要从对接分换成智能体的成败或步骤级信号;每条经验要先算出自己领域里的「同类混淆量」——便宜、与目标无关、却强烈预测结果。
它给出的负面结论也值得当设计约束:如果可迁移信号主要描述「动作与产物」而非「目标」,经验库更适合给候选排序,而不是直接规定该生成什么。
来源:官网条目 · arXiv 原文
本篇未取到可用的论文原图:全文只有两张表,HTML 里没有任何插图。
站内摘要出入:有出入。站内只写「经验库的键可区分编辑优劣」,原文的要点是这种区分很大程度上由「编辑改变了分子多少」与动作、轮次解释,配平之后差距落到区间含零。

33. 技能库当冻结模型的外挂:114 个候选补丁只接受 10 个 · arXiv:2610.32481 · 邻近跟踪

CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models · arXiv:2610.32481 · 邻近跟踪
作者与机构:第一作者 Siyu Wu;首页列出吉林大学、阳明交通大学、清华大学三个单位,但作者与单位的对应关系未标出。
研究问题与核心方法:
多模态大模型做细粒度情感识别时,会在语义相邻、线索高度重叠的情绪对之间系统性混淆。这类错误不是随机失败,而是集中在相邻标签对上。
既有做法靠全局参数微调去修,代价高且不可拆分。作者主张混淆高度局部化,应改用可复用的「成对专门知识」,且知识要能脱离参数、跨冻结骨干迁移。
三阶段闭环,主干始终冻结。先做选择性推理:让模型给出前二候选情绪与路由位,需要第二轮时把输出空间限制在这两个标签上,并注入成对的核查协议。
再做可恢复性归因与技能演化:只有真值落在这对候选内的轨迹才算该对的信号,二轮错的进失败集、对的存为锚点;积累到阈值后由外部编辑模型对比失败与锚点,提出局部文本补丁。
最后是行为验证与稀疏扩张:候选修订必须在固定验证子集上严格提升该对的预测、且不向单一标签坍缩才提交。33
关键结果:
  • CA-MER 总体准确率:Qwen3-VL-8B 从 46.80% 到 59.13%(+12.33 个百分点,技能迁移自另一数据集)。
  • Gemini 3.5 Flash 66.73%→70.60%;Emotion-Qwen 反而从 60.12% 降到 58.35%,改用技能检索变体后是 61.30%。
  • 演化所在的数据集上并非全为正:Qwen3-VL-8B 的 UAR 49.68 低于冻结的 51.59、WAR 58.08 低于 59.45。
  • 组件消融:原始 46.80 → 加选择性推理 47.47 → 加静态成对技能 57.00 → 无门控演化 58.27 → 完整 59.13。
  • 技能库治理:114 个候选修订里接受 10 个,拒绝 102 个(验证无提升)与 2 个(导致标签坍缩);覆盖率从 17 对扩到 21 对。
  • 路由定位:被判需干预且技能已覆盖的样本,一轮错误率 52.0%,高于未路由样本的 36.7%。33
证据与局限:三个公开数据集、三个冻结骨干。结果全是单次点估计,没有种子方差、区间或显著性检验;技能只在一个数据集上演化,另两个是零样本迁移;编辑模型是外部商用模型,影响未单独消融。114 个候选只接受 10 个,提案与验证的调用开销没有报。
与目标研究线的关系:连接点是「技能库作为冻结主干的可插拔外部模块」,而且触发条件由主干自己给出(前二候选加路由位)——这与「能力边界发现」同构:只在模型自述不确定处加载技能,其余原样放行。
三个实现要点可搬:技能按「具体失败对」而不是按任务类型索引,库天然稀疏、可按需扩张;修订必须过一道行为门(同验证集严格提升且不坍缩),与让模型自评「补丁看起来合理」是两回事;技能文本要写成「适用条件加两类证据加判定规则加输出格式」,才能在不改参数的前提下约束输出。
迁移要改三处:把「情绪标签对」换成任务层可判定的失败模式对,并保证能自动构造验证子集,否则 114 比 10 的接受率会退化;把「成对准确率严格提升」换成带代价约束的任务级指标,避免门控过严导致技能几乎不更新;把标签空间做成可变词表,否则成对枚举会随类数平方增长。
来源:官网条目 · arXiv 原文
定位、归因与验证
图 2 是技能的一生:选择性开启一个混淆对,按真值是否落在这对内分流成失败集与锚点,局部编辑技能后过验证门才提交或丢弃。技能库只在这条链走完时才增加一条(arXiv:2610.32481)。
站内摘要出入:有出入。站内写「在多数据集上提升」,原文表里 Qwen3-VL-8B 在演化数据集上 UAR 下降 1.91、WAR 下降 1.34,Emotion-Qwen 在另一数据集上总体下降 1.77。

34. 60 集剧本:套路重复率 21.5%→14.6%,语义检索只召回 27 个关键子事件里的 7 个 · arXiv:2610.32002 · 邻近跟踪

DraMaze: A Multi-Agent Pipeline with Future-Aware Memory for Diverse Microdrama Script Generation · arXiv:2610.32002 · 邻近跟踪
作者与机构:第一作者 Siyang He(共同一作 Qiqi Wang),复旦大学与上海创智学院;腾讯 OVB 参与。
研究问题与核心方法:
几十集、数万字的长剧集要求情节推进有多样性、跨集有因果连贯。作者观察到两个具体病灶:随生成推进,候选后续事件收敛到越来越少的叙事机制上;常规语义检索压不住这种同质化,还会因为「语义相似」把用过的解法重新捞回来,同时漏掉对未来情节真正必要的历史前提。
流程分四步。规划器先出四阶段粗纲;进化树搜索把每个叙事锚点展开成事件序列,每个节点生成四个候选、按「局部因果套路与套路记忆」打分取前二继续,并按概率做变异;套路记忆以「起因—方法—结果—回应」四元组存储,剥离人名地名道具。
写作前由规划代理从结局反向构建依赖树,每条子节点是父目标的前提;每集映射到它设置、推进或完成的目标节点,记忆按当前集目标及其前提子树检索。另有世界状态记忆维护人物、关系、资产。34
关键结果:
  • 60 集时剧本逻辑均分 82.5±0.2(对照 StoryWriter 74.0、DOME 66.3,30 个创意、3 次重复)。
  • 三词元因果套路重复率 14.6%(对 StoryWriter 21.5%,相对降 32.1%);四词元是 6.07% 对 9.75%。
  • 因果多样性条件熵 0.912 对 0.876(0–1 归一化)。
  • 40 集消融:逻辑均分 81.3、质量 86.3;去掉套路记忆 74.5/81.2,去掉未来感知记忆 72.1/81.2,去掉多智能体 70.3/76.8。
  • 检索召回:稠密检索与图检索各取前 30 条记忆,都只命中人工标定的 27 个有叙事价值子事件中的 7 个,召回率 25.93%。
  • 续写 21–30 集时套路复用率:稠密检索 23.30%、图检索 16.67%、人工整理记忆 7.14%、原剧 5.56%。34
证据与局限:三个主干 × 三个长度档 × 30 个创意、每配置重复三次并报标准差,另有组件消融与跨模型泛化。
弱点明确:评测基准与三个新指标都是自建,评分器也是 LLM,所以「逻辑 82.5」这类分数只能内部横比;两个基线的适配由作者完成;无人工评审、无显著性检验。
与目标研究线的关系:这是离播客脚本生成最近的一篇,可搬的是三件具体机制。
重复度量:把「套路」抽象成四槽因果链,剥离专名后做全局规范化,再算 n-gram 复用率与条件熵。它可以改造成播客的「论点—论据—转折—回应」四元组,用来量化「每期都在讲同一个道理」这种栏目级同质化——本期收录里唯一给出可计算重复率的工作。
记忆组织:按「未来目标的前提子树」检索,而不是按语义相似度检索。这正对系列化内容的痛点(第 8 期要回收第 3 期埋的伏笔),而 25.93% 的召回对比说明语义检索会漏掉因果前提。
结构:计划与写作分离,每次写作后更新世界状态记忆,可映射为「栏目圣经 + 单集脚本」两层。
迁移要改的:短剧的驱动力是强冲突与钩子,播客是论证与叙事节奏,四槽模板要换成「主张—证据—反驳—收束」;它的七项评分里只有「铺垫与回收」和「重复检测」对播客直接有用;全程纯文本,不含任何音频环节,不能当播客生成论文引用。
来源:官网条目 · arXiv 原文
五段流水线
图 3 是全景:粗纲、含变异与套路记忆的进化树搜索、集纲分配、反向依赖树、带未来感知检索的分集生成。关键在第四段——记忆不是按「哪段最像」取,而是按「这一集的目标需要哪些前提」取(arXiv:2610.32002)。
站内摘要出入:口径不清而非冲突。站内只说「因果重复率降低 32.1%」,原文该数字对应 60 集档的三词元重复率(21.5%→14.6%),同档四词元是 9.75%→6.07%(降 37.7%),摘要未标明是哪一个指标。

八、排除清单与四条线的覆盖说明

135 篇新提交里排除 101 篇,按栏分开列,理由按类聚。
人工智能栏 55 篇里收录 20 篇,排除 35 篇:
  • 领域应用与专用场景 10 篇:2610.31882、2610.32069、2610.32193、2610.32237、2610.32241、2610.32258、2610.32326、2610.32469、2610.32477、2610.32738。
  • 通用模型方法与训练推理效率 9 篇:2610.32127、2610.32177、2610.32205、2610.32216、2610.32229、2610.32324、2610.32604、2610.32878、2610.32881。
  • 多智能体安全、博弈与行为分析 4 篇:2610.31937、2610.31971、2610.32060、2610.32087。
  • 专用基准与单点能力评测 3 篇:2610.32221、2610.32536、2610.32627。
  • 其他学科任务与专门工具 9 篇:2610.31810、2610.32022、2610.32431、2610.32474、2610.32660、2610.32665、2610.32851、2610.32869、2610.32874。
自然语言处理栏排除 58 篇:
  • 单点语言现象与表征分析 12 篇:2610.31683、2610.31687、2610.31821、2610.31833、2610.31946、2610.32109、2610.32122、2610.32281、2610.32309、2610.32411、2610.32463、2610.32691。
  • 通用建模、架构与训练方法 11 篇:2610.31681、2610.31820、2610.31894、2610.31911、2610.31945、2610.32115、2610.32129、2610.32246、2610.32318、2610.32871、2610.32921。
  • 领域应用、语料与人文分析 15 篇:2610.31682、2610.31685、2610.31723、2610.31842、2610.31863、2610.31874、2610.32150、2610.32151、2610.32443、2610.32513、2610.32515、2610.32817、2610.32842、2610.32955、2610.32982。
  • 检索、知识组织与语料工具 8 篇:2610.31684、2610.31966、2610.32128、2610.32679、2610.32725、2610.32781、2610.32796、2610.32933。
  • 评估口径、标注与安全检测 6 篇:2610.31838、2610.32055、2610.32144、2610.32191、2610.32212、2610.32415。
  • 语音识别侧 3 篇:2610.32382、2610.32572、2610.32637。
  • 对话、谈判与交互系统 3 篇:2610.32107、2610.32333、2610.32702。 语音与音频栏 8 篇全部排除:2610.32007(文本到 MIDI 的可控特征,音乐生成)、2610.32310(电动车内噪声的声源分离)、2610.32325(音乐驱动团体编舞)、2610.32495(让音频语言模型复现某个人的音乐反应)、2610.32629(演唱情感识别的可解释特征)、2610.32749(流式视听目标说话人提取)、2610.32816(手术器械的视听定位)、2610.32870(弱监督语音增强)。八篇都不涉及语音合成、音色与韵律控制,也没有可用于 TTS 评估的指标口径。
四条线按每篇的主要归属计:A 线(长程任务的训练与评估)20 篇、B 线(轨迹学习与自进化)10 篇、C 线(TTS 生成与评估)3 篇、D 线(播客生成与节目级评估)1 篇。
A 线的 20 篇里有 5 篇是邻近跟踪:三篇提供训练课程与评估纪律的骨架(2610.32308 的课程与门控奖励、2610.32380 的证据门控与泄漏审计、2610.32370 的冲突率先行),一篇是理论物理的双轨基准(2610.32575),一篇是领域用户模拟器(2610.32435);其余 15 篇直接命中。这一线今天最集中在两件事上:把「模型还是执行工具」拆开(32285、32483、32429、32305、32441),以及把评测口径本身当成研究对象(31678、31679、32114、32110、31686、32575)。
B 线的 10 篇里 2 篇是邻近跟踪(2610.32620 的跨口袋经验复用、2610.32481 的冻结模型外挂技能库)。直接命中的 8 篇分成两组:一组处理经验写在哪(31789 能力库、31846 权重里的教训、31918 蒸馏层级、32322 技能退役、32412 叶子层复用),一组处理教什么(32295 记忆与技能互喂、32802 能力边界、32770 只给主题名的自训练)。
C 线 3 篇全部出自自然语言处理栏,且都属语音与音频主题:长对话崩塌的测量(32349)、约束下的配音(32042)、同传的延迟控制(32214)。语音与音频栏当天没有 TTS 论文,这是当日该栏的产出构成,不是筛掉了:8 篇新提交的标题与摘要逐条看过,没有一篇涉及合成、音色、韵律或合成评估。
D 线只有 1 篇邻近跟踪,没有直接命中。135 篇里没有任何一篇讨论播客生成、播客脚本或节目级评估,唯一贴着的是 2610.32002 的微短剧剧本生成:它给出可计算的重复率(三词元 21.5%→14.6%)与「按未来目标的前提子树检索」这两件能搬去播客的东西,但全程纯文本、不含音频环节,所以按邻近跟踪处理。
本期所有条目与全景表的入口都用该账号官网同日同栏目的条目,指向同一批论文在该站上的条目页;微信侧 10 月 26 日的速递栏图文尚未列出,因此没有可附的公众号直链。

References

  1. 1
    Trial by Trace

    arxiv.org

  2. 2
    When Agents Fail

    arxiv.org

  3. 3
    Async-RBench

    arxiv.org

  4. 4
    DMAIC-Bench

    arxiv.org

  5. 5
    Validating the Comparison

    arxiv.org

  6. 6
    MisconceptDialogue

    arxiv.org

  7. 7
    Tampered ML

    arxiv.org

  8. 8
    Who Verifies the Tools

    arxiv.org

  9. 9
    Auditing Residual Interventions

    arxiv.org

  10. 10
    SCI-AGENT-EXAM

    arxiv.org

  11. 11
    PHYRD

    arxiv.org

  12. 12
    ActionRAG

    arxiv.org

  13. 13
    SPECMEM

    arxiv.org

  14. 14
    Permission to Retry

    arxiv.org

  15. 15
    The Helpful Agent Problem

    arxiv.org

  16. 16
    Not All Information Is Worth Asking For

    arxiv.org

  17. 17
    Phronix

    arxiv.org

  18. 18
    Self-Directed Repair

    arxiv.org

  19. 19
    Beyond On-Policy vs. Off-Policy

    arxiv.org

  20. 20
    Beyond Gain

    arxiv.org

  21. 21
    LeafSkill

    arxiv.org

  22. 22
    Lifelong Context Adaptation through Bidirectional Memory-Skill Learning

    arxiv.org

  23. 23
    Frontier-OPD

    arxiv.org

  24. 24
    On-Policy Self-Training

    arxiv.org

  25. 25
    Why Full-Duplex Speech Models Collapse in Long Conversations

    arxiv.org

  26. 26
    X-Dubbing

    arxiv.org

  27. 27
    DIAL-S2ST

    arxiv.org

  28. 28
    Solvent

    arxiv.org

  29. 29
    DealsFlow

    arxiv.org

  30. 30
    Adaptive Control of Scientific Instruments

    arxiv.org

  31. 31
    ProfileSim

    arxiv.org

  32. 32
    What Transfers Across Protein Pockets

    arxiv.org

  33. 33
    CASE

    arxiv.org

  34. 34
    DraMaze

    arxiv.org

长程智能体与生成式音频论文雷达
长程智能体与生成式音频论文雷达@wei

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 全景表
  • 一、模型还是 harness:把「谁该负责」变成可测的事
  • 1. 受测对象换成 harness:3,420 次运行里 31.1% 的任务成功却违反了自己的履约判据 · arXiv:2610.32285 · 精读
  • 2. 同一个 harness 的名次会随模型翻转:Codex 在 Qwen 上 Fit 91.21、在 Kimi 上 60.45 · arXiv:2610.32483 · 精读
  • 3. 只改投递方式,九个 agent 的任务成功率全部下降:29.7%→26.0% · arXiv:2610.32429 · 精读
  • 4. 成对反事实下 GO 走对 92%、NO-GO 只有 19%,而「允许停」把 NO-GO 抬到 79% 又把 GO 拉低 15 个百分点 · arXiv:2610.32305 · 值得扫读
  • 二、评测口径:判官准不准,和这次比较成不成立是两件事
  • 5. 评分器整体 F1 .916,同一组提示效应它给 +.093、参考评者给 +.023 · arXiv:2610.31678 · 精读
  • 6. 同一批 2,250 条对话,只换打分口径:42.1% 变 81.3% · arXiv:2610.31679 · 精读
  • 7. 单序 66%、双序 43%:位置偏差 23 个百分点 · arXiv:2610.32114 · 精读
  • 8. 只改工具输出的措辞,验证器 30/30 接受同一个假答案 · arXiv:2610.32110 · 值得扫读
  • 9. 目标选择 119/128,下游判断 24/128,整段动作 68/128 · arXiv:2610.31686 · 值得扫读
  • 10. 120 题、11 学科、10 个模型:最高 80.9 分,一次 20.79 美元 · arXiv:2610.32441 · 值得扫读
  • 11. 闭卷复现 68.25%,改一个前提的外推题 74.42% 到 18.60% · arXiv:2610.32575 · 邻近跟踪
  • 三、记忆、恢复与运行时行为:省下的 token 未必是省下的错误
  • 12. 记忆检索均值 55.1 对 49.7,叙事型召回却落后 3–11 分 · arXiv:2610.32752 · 值得扫读
  • 13. 冻结的记忆库随会话掉到 13.5–14.9,活库守在 18.9–21.5 · arXiv:2610.31840 · 精读
  • 14. 缓存重试报出 27 次「成功」,真正完成的只有 15 次 · arXiv:2610.31916 · 精读
  • 15. 58.8% 的轨迹至少越界帮一次忙,坑任务里 43.7% 造成下游伤害 · arXiv:2610.31985 · 值得扫读
  • 16. 整段决策遗憾 1.80 对 11.16,而「给真值似然」只把 0.83 降到 0.31 · arXiv:2610.32181 · 值得扫读
  • 四、把经验写下来:能力库、教训与蒸馏层级
  • 17. 能力库让 gpt-5.4 在 30 题上从 29% 到冷启动 67%、热启动 91% · arXiv:2610.31789 · 值得扫读
  • 18. 同一份反思放进上下文 59.6%、放进权重 65.5%,基线 51.7% · arXiv:2610.31846 · 精读
  • 19. 12 个设置里 10 个成功率最高:学生历史配教师动作前缀 · arXiv:2610.31918 · 值得扫读
  • 20. 增益接近零有相反两种含义:层级规则移除未内化技能 0%,增益带移除 57.5% · arXiv:2610.32322 · 精读
  • 21. 叶子层复用让宿主 token 降 23.09%,代价挪到一个 1.7B 控制器 · arXiv:2610.32412 · 值得扫读
  • 五、自训练与能力边界:谁来决定该教什么
  • 22. 600 个任务的流式评测:63.17% 对记忆单用 59.83%、技能单用 50.50% · arXiv:2610.32295 · 精读
  • 23. 随机选干预点 58.7%、结构化选点 65.9%:钱该花在选点上 · arXiv:2610.32802 · 精读
  • 24. 只给主题名,MMLU 从 37.5 到 47.7;但域外平均只 +0.8、MATH-500 退 4.9 · arXiv:2610.32770 · 值得扫读
  • 六、语音与音频:长对话崩溃、延迟预算与约束下的合成
  • 25. 40 次长对话回放:重复率 65%→0%、静音 100%→7.5%,而失败时间与缓存窗长成线性 · arXiv:2610.32349 · 精读
  • 26. 配音同时对上时长、停顿与口型:ASR-BLEU 42.34 对 38.44、停顿 IoU 0.551 对 0.307 · arXiv:2610.32042 · 精读
  • 27. 一个 16M 适配器覆盖整条延迟前沿:匹配 1.8/2.3/2.8 秒时 32.5/34.8/35.6 · arXiv:2610.32214 · 值得扫读
  • 七、邻近跟踪:能借的是方法骨架,借不到的是结论
  • 28. 四基准平均 61.86%,同规模专用模型 19.03%:课程把 0.18% 推到 61.86% · arXiv:2610.32308 · 邻近跟踪
  • 29. 142 笔成熟投资上 ρ=0.451,而无约束模型是 0.381:差别在「只降不升」 · arXiv:2610.32380 · 邻近跟踪
  • 30. 实机 409 炮、出束率 86.80%;同一实验台对人工是 86.11% 对 83.83% · arXiv:2610.32370 · 邻近跟踪
  • 31. 五个分数里唯一没赢的是合规率:52.25% 对 GPT-5 的 62.01% · arXiv:2610.32435 · 邻近跟踪
  • 32. 键看上去分出 +53.3 个百分点,配平一个便宜变量后区间就含零 · arXiv:2610.32620 · 邻近跟踪
  • 33. 技能库当冻结模型的外挂:114 个候选补丁只接受 10 个 · arXiv:2610.32481 · 邻近跟踪
  • 34. 60 集剧本:套路重复率 21.5%→14.6%,语义检索只召回 27 个关键子事件里的 7 个 · arXiv:2610.32002 · 邻近跟踪
  • 八、排除清单与四条线的覆盖说明