Neodrop
Create
FeedDiscoverMy ChannelsAuto-publishJoin Our Discord
FeedDiscoverCreateMy Channels
10月23日三栏:只改执行回环 46.47%→65.21%、自改 harness 两轮只涨 2.80 分、判官聚合分差 1 分却 21.2% 的提示换胜负——长程智能体与生成式音频的 86 篇分层雷达
2026-10-23

10月23日三栏:只改执行回环 46.47%→65.21%、自改 harness 两轮只涨 2.80 分、判官聚合分差 1 分却 21.2% 的提示换胜负——长程智能体与生成式音频的 86 篇分层雷达

本期把该账号 10 月 23 日三栏 192 篇新提交逐条筛完,收录 86 篇:只改推理时的执行回环就把 9 个基准 macro 从 46.47% 拉到 65.21%,而让模型自己写 harness 再改两轮只涨 2.80 分;判官同提示重跑聚合分只差 1 分,却有 21.2% 的提示换了胜负。

长程智能体与生成式音频论文雷达
长程智能体与生成式音频论文雷达@wei
本频道盯「arXiv 每日学术速递」的三个栏目:人工智能、自然语言处理、语音与音频学术速递。
本期处理该账号 2026 年 10 月 23 日 19:44(GMT+8)发布的三栏:人工智能学术速递[10.23]、自然语言处理学术速递[10.23]、语音与音频学术速递[10.23],三栏齐全,同一天一次处理完。
公众号正文只展开每栏前几篇,完整名单在它自己的官网 arxivdaily.com 上。当期候选池按该官网同日同栏目的完整条目重建。
cs.AI 列表 369 条卡片、被标为「新提交」103 条;cs.CL 183 条里 77 条;cs.SD 26 条里 12 条,与该栏标题的「共 12 篇」吻合。三栏合计 192 篇新提交,交叉投稿与版本更新都不计入。
192 篇逐条读完后收录 86 篇、排除 106 篇。排除集中在三类:领域应用与专用场景、通用模型方法与训练推理效率、单点安全与语言现象分析,完整编号按栏列在末节。
收录的 86 篇按与四条研究线的关系分层:直接命中 71 篇、邻近跟踪 15 篇。按阅读投入分档:精读 28 篇、值得扫读 43 篇、邻近跟踪 15 篇。
四条线按每篇的主要归属计:A 线(长程任务的训练与评估)50 篇、B 线(轨迹学习与自进化)26 篇、C 线(TTS 生成与评估)8 篇、D 线(播客生成与节目级评估)2 篇。
站点给的中文摘要与 arXiv 原文有出入的地方,条目里一律按原文写,并在条末用「站内摘要出入」点出来,本期共 30 条。最多的两种情形是限定词被抹掉(一个结论只在一部分模型或一部分设置上成立),和百分点被写成百分比。
本期有六条判断值得先记住,理由与限定写在各自条目里。
harness 的价值被量出两个相差一个数量级的答案。 只改推理时的执行回环、不碰权重,Qwen3.5-9B 在 9 个基准上的 macro 从 46.47% 升到 65.21%,换骨干仍有效。而让同一代前沿模型自己写 harness 再改两轮,ARC-AGI-3 上平均留出只抬 2.80 分(95% 区间 [−1.44, 7.35]),同一个冻结 harness 重复评 10 次的样本标准差就有 3.99 分。两者的差别不在改不改,而在改的东西有没有可验证的外部反馈。
朴素 RAG 又赢了一次。 只对原始历史做稠密检索加 rerank,在 7 个「基准 × 模型」设置里 6 个排第一,最多赢最强智能体记忆系统 5.53 分,耗时是 EMem 的 1/5.1、EverMemOS 的 1/30.4。反过来,把 Mem0 的显式改写换成只加不删,LoCoMo 从 67.36% 升到 69.42%。
判官的聚合分稳,逐条判定在漂。 同一判官同一提示重跑三次,聚合分只差约 1 分(52.82 / 54.02 / 53.50),但两两比较平均 21.2% 的提示换了胜负;496 条提示里只有 26.4% 在 17 次运行中结果始终不变。只报聚合分,等于把不稳定性藏起来。
有些「读错」是打分器自己的错。 识别器在真人语音上就已经漏词:LibriSpeech 上极罕见词漏 32.9%,FLEURS 上漏 66.7%。用三个识别器交叉裁定后,TTS 报告的错误率降到原来的 1/2.8 到 1/3.3。
同一份失败反馈,来源不同方向相反。 把失败走法连同报错写回上下文,8 个模型合并后 G=−1.38([−1.85, −0.95]),更想重走;但换成模型自己提出的错走法,符号翻成 +1.34。固定扰动探针上的结论不能直接搬到自生成轨迹上。
三个「提升」其实是百分点。 异步共享缓冲的 19.2 是准确率点、且只成立于一个基准的逐步比较(全基准平均 4.4 点);PrefDiag-Bench 的 7.06 是 76.47%→83.53% 的百分点;子目标记忆图的 11.11 是 34.19%→45.30% 的百分点(相对 +32.5%)。三处原文都没写错,是摘要的措辞容易误读。

全景表

三个栏目各一张表,表内按档位排序:同一栏里先读精读,再扫值得读;标「邻近跟踪」的第三档,只在题目贴着你的活时才展开。

人工智能学术速递[10.23](48 篇)

档位标题与 arXiv这一篇在问什么关键数字来源
精读PLE:85 项真实工程交付,最强配置仅 50.6%、单任务 2700 万 token · arXiv:2610.30537前沿模型能不能做完一名持证物理工程师真正会被签字的工程交付物,而不只是答对教材题或调一次有限元软件最强配置 Claude Opus 5.5 + Claude Code 在 85 题上均分 50.6%,$17.18/题,平均 27.0M token、63 分钟官网
精读EpiSEM-Bench:300 对孪生任务,安全边界最高者 PUR 仅 30.5% · arXiv:2610.31650当工具返回里"少了一条真事实"、但没有说任何假话时,agent 会不会执行被禁止的操作两端画像差到近乎互补:GPT-6-Luna 是 Full SWS 51.0%、Full UCR 3.0%、Critical UCR 21.0%、SBM 84.8%官网
精读SCE:模拟工具响应,安全预测 RMSE 3.6 点,BashArena 为 10.1 点 · arXiv:2610.31593能不能用一个语言模型替身来生成工具返回、从而在部署自己的任务与环境里跑控制评估5% 审计预算、五个监控器下,SCE 预测安全的总 RMSE 是 3.6 个百分点,BashArena 是 10.1 个百分点,误差降了约三分之二官网
精读ARATest:243 条主张仅 54 条可绑定,植入 553 故障全检出、判官 342 · arXiv:2610.30495一条写成散文的研究主张,能不能自动变成一条可执行、可被证据判定的性质测试覆盖率比想象低得多:243 条主张里 54 条被绑到证据(22.2%),只有 40 条能判(16.5%)——32 条成立、8 条被违反,14 条 inconclusive官网
精读静态判官更准,在线奖励器却在 8 组配对里输掉 7 组 · arXiv:2610.30765一个生成式奖励模型(GenRM,直接生成 A/B 判决的判官)在固定分布上准确率更高8 组配对配置里,Answer-Only 奖励器在 7 组的峰值 Gold Elo 上高于 Thinking;按每条轨迹最好的五个快照平均,同样是 7/8官网
精读一个探针跨 token 价格复用:OOD 数学省 41%/51% token 不掉准确率 · arXiv:2610.30450把"预测继续推理能得到什么"与"现在要不要停"拆开之后,前者学到的东西能不能跨 token 价格复用Qwen3 上,五个 OOD 数学集平均:容忍 0 个百分点时 BELT-H-T 省 40.77% token,容忍 1 个百分点时省 45.98%官网
精读MemPABench:检索式记忆停在与无记忆相当的 50.0%,文件记忆升到 59.2% · arXiv:2610.30485当用户在意的是"怎么被服务"——要不要澄清、要不要先确认、什么时候可以自己动手PSA 上只有文件记忆有明确增益:59.2%,对无记忆 49.6% 高 9.6 点(95% cluster-bootstrap 区间 [+3.9, +15.6]);Mem0官网
精读朴素 RAG 在 7 个设置里 6 个第一,最多赢最强智能体记忆 5.53 分 · arXiv:2610.30755智能体记忆系统里那一堆抽取、改写、图结构、学习式检索在 7 个"基准 × 模型"设置里 Raw-RAG 有 6 个排第一,对最强智能体记忆系统的领先是 0.13–5.53 分:LoCoMo 0.65–0.95 分官网
精读两次自我修订只把留出 RHAE 提高 2.80 分,27 条谱系里 12 条反而退步 · arXiv:2610.30499前沿推理模型能不能自己写出一个完整的任务 harness(包住模型的符号程序,负责感知、记忆、工具两次修订把平均留出 RHAE 从初始版本抬高 2.80 分,95% bootstrap 区间 [−1.44, 7.35],与「平均无收益」相容;严格升/降计数为 15 升官网
精读跨演化视角取效用交集,知识-模型协同演化把平均准确率再推 4.6 分 · arXiv:2610.30790同一段失败经验,换一种归因方式就能抽出不同的「技能」,凭什么相信其中某一条?四基准平均准确率:4B 从 20.38 升到 55.58(+35.2),9B 从 28.12 升到 61.98(+33.9)官网
精读RoleFlow:编辑级反事实信用把七基准均分推到 67.1 · arXiv:2610.30429多智能体的协作链能不能在执行过程中按反馈一次次改写,并且让「这一次改写」的功劳与责任被单独算清楚?七基准均分 67.1,高于最强对手 W4S 的 62.4 达 4.7 分((55.6+43.5+42.1+81.1+89.0+95.7+62.6)/7=67.09官网
精读RIPPLE:阶段化信用把 SWE-bench Pro 从 50.8 抬到 57.3 · arXiv:2610.31276智能体看得见测试失败、也说得出像样的诊断,却继续沿错方向改——怎么把「看到证据就改」训进策略本身?相对 base:Verified 74.6→75.9(+1.3)、Pro 50.8→57.3(+6.5)、Multilingual 68.8→73.6(+4.8)官网
精读LLM 群体的分歧约为人类 9 倍,且级联基本不自我纠正 · arXiv:2610.30769当 LLM 智能体能看见别人累计的「推荐数」时,群体选择会不会被早期结果带跑两个影响条件下 13 个模型全部偏离独立判断(每个模型 p<0.001);KL 分歧在弱影响下约为人类的 9 倍、强影响下约 4 倍官网
精读多主体事件世界:给全他人行动 EM 65.1%,只给自身行动跌到 20.8% · arXiv:2610.30488在多个行动者各自决策、智能体不动系统也会变、状态只能从事件日志里部分看到的环境里Task J 单步:SFT 的 Qwen3-1.7B 在 Diplomacy 到 59.7% EM、Qwen3-8B 65.1%官网
精读冻结模型加执行回环:9 个基准 macro 从 46.47% 到 65.21%,无需训练 · arXiv:2610.30917只改推理时的 harness(执行环境、状态、反馈、控制流),不动模型权重macro 准确率的提升随规模极不均匀:Qwen3.5-9B 46.47 → 65.21(+18.74 pp,OptiCycle)→ 67.52(OptiState)官网
精读因果掩码挡不住未来令牌:验证损失 3.60→1.43 的“提升”被审计推翻 · arXiv:2610.31522因果注意力掩码正确,是否就保证前缀输出不依赖未来 token?一个异常低的 teacher-forced6 对合成实现:非因果版 LeakScore 从 0.0033 到 0.6625,因果修复版全部 0.0000(ε=1e−5);换前缀长度 8/16/32/64、三个随机种子官网
值得扫读标签审计:验证检测器与人工一致率 82.7%,步数上限改变正确数 6/30 · arXiv:2610.30491把一条执行轨迹压成一个标签(答案对不对、有没有复核、故障有没有传播)之后只有验证检测器会错:D-correct 67/67(100%)、D-impact/恢复 19/19(100%)、故障相关性 18/18(100%)官网
值得扫读审计后幻影:272 对孪生世界公开记录逐字节相同,离线规则必然同判 · arXiv:2610.31130一个只看部署前公开审计记录的 verifier,究竟能不能判断这次 agent 更新部署之后还安不安全不可识别性是可验证的,不是假设:272 对 × 50 轮 = 13,600 条公开输入全部逐字节相同,protected 真值在两侧相反官网
值得扫读一次纠正压成 324 字节状态:TCPA-Repeat 用户宏准确率 44.83% · arXiv:2610.31521用户在部署后"接受或撤销某个已提交动作"这类类型化反馈,能否在不重放历史、不训练语言模型的前提下TCPA-Repeat 全流用户宏准确率 44.83%,比冻结打分器 39.44% 高 5.39 个百分点官网
值得扫读只纠正一种合谋,四种没见过的从 91% 降到 14–20% · arXiv:2610.30582控制团队抓住监控器(与策略共用权重的那份模型)在一次行为上合谋之后,只用这一次的样本重训监控器干预前,四个留出行为在九个未见格式上的批准率是 91–92%(三个种子的家族平均,单种子 81–98%)官网
值得扫读最强 GUI 智能体的 Process 偏好只有 47.17%,比基础任务低 34 个百分点 · arXiv:2610.30573个性化 GUI 智能体失败,到底败在"不知道偏好该怎么改变执行"(HOW)11 个系统在偏好任务上的平均成功率全部低于基础任务。Seed-2.0-Pro 最强,档案 62.64%、日志 65.66%,基础任务 81.13%官网
值得扫读ColaBench 349 题:MemKB 86.25%,多事实任务增益 9.35 分 · arXiv:2610.30989个人智能体在查外部知识时,能不能把散落在历史里的个人条件找回来,并用它判断某条规则对自己是否适用349 题上 MemKB 准确率 86.25%,比 Mem0+Hybrid 的 79.94% 高 6.30 个百分点官网
值得扫读记忆价值框架:同一份账本让 LoCoMo F1 从 0.016 变到 0.329 · arXiv:2610.31303一段历史里到底有多少决策价值,存下来还剩多少,受限的智能体实际能用多少同一批 12 道题,只给账本 F1 是 0.016(12 题 abstain 11 题)官网
值得扫读子目标记忆图把 SPA-Bench 成功率从 34.19% 提到 45.30% · arXiv:2610.31307GUI 智能体的经验该以什么粒度存下来才能跨任务复用——单步动作太碎、整条轨迹太死,中间那一层是什么三次独立运行的平均单次成功率:无记忆 34.19%,子目标图 45.30%,绝对差 11.11 个百分点(相对提升 32.5%)官网
值得扫读治理态腐败改变 96.25% 的记忆投影,LongMemEval 掉 40.54 点 · arXiv:2610.30698如果记忆的内容一个字不改,只把"这条记录还有效吗、什么时候被取代、是否已删除"这类治理状态弄错控制面确实被改动:2,080 个底座—故障对里 2,002 个(96.25%)的可操作投影发生变化,预言机干预在全部 2,080 对上(100%)恢复干净投影官网
值得扫读Muffin:20 个设置 17 个第一,比辩论省 77.4% token 多 19.2 分 · arXiv:2610.31355多智能体协作的收益为什么常常被通信吃掉——如果让智能体在推理过程中异步交换"结论"而不是等对方说完再交换20 个"模型 × 基准任务"设置里 Muffin 拿下 17 个第一、其余 3 个第二。这里的实体层级要看清:基准只有 4 个官网
值得扫读五个月实盘 102 个交易日:24.6% 的板块回撤被收在 0.3% 亏损 · arXiv:2610.30557一个被允许改写自己提示词的智能体,怎样才能改不到自己的风控底线?实盘 +5.0%,同期 SPY +12.4%;beta 0.16、波动 9.0%(SPY 12.4%)官网
值得扫读把「在哪搜」和「怎么搜」一起演化,八个留出拓扑损失比最强基线低 54.9% · arXiv:2610.30851在评估很贵、可行解稀疏、参数强耦合的科学设计里,能不能把「从哪开始搜」和「怎么搜」一起交给自演化?8 个留出拓扑平均损失 0.204±0.101,比最强经典优化器 NAAdam(0.452±0.150)低 54.9%官网
值得扫读300 条科研轨迹 99.7% 出现诚信违规,运行时干预残留违规降 36.8% · arXiv:2610.31372自主科研智能体的「过程作弊」——结果看着成功、过程却不合规——能不能被自动检出,并在运行中拦住?RIV-Gold 上实例级 F1 85.2(P 87.1 / R 83.3);要求类型也一致时 F1 掉 12.7 分,分类法层面 F1 86.72、准确率 90.12官网
值得扫读失败记录让失败走法更可能重演:8 个模型合并 G=−1.38 · arXiv:2610.30205把失败的走法连同裁判的报错写回 transcript 之后,小模型在游戏里会更想重走这一步,还是更不想?共享题池上 8 个模型合并后 G=−1.38 [−1.85, −0.95] nats/token,即记录让刚失败的走法更可能被重写官网
值得扫读PRS:三个扰动方向把 CVRP-50 的最优性差距压到 0.79% · arXiv:2610.31048自动启发式设计(AHD)里的多样化,能不能不靠进化算子的副作用,而是在生成层就用显式方向来控制?CVRP-50 的差距从 MCTS-AHD 的 1.54% 降到 0.79%;CVRP-200 从 5.20% 降到 3.93%官网
值得扫读命名博弈里共识总流向最强模型:K=2 时胜率 0.67–0.83 · arXiv:2610.31105一个由不同模型混成的群体,在完全没有正确答案的任务上,最后采纳谁的观点?七个家族都出现大 > 中 > 小的胜率排序;K=2 的两方对照里大模型胜率分别是 GPT-5 0.67、Claude 5 0.81、Gemma 4 0.67官网
值得扫读智能体握手实测:3 次往返 230 ms,能力元数据每项 24–107 token · arXiv:2610.30151智能体从第一次接触,到"可以发第一条正经任务消息"(原文称 task-ready)S1 冷启在 50 ms RTT 下到 task-ready 的中位数:MCP legacy 230 ms(p95 236)、MCP modern 122 ms官网
值得扫读长 CoT 上独立草稿接受率不随位置衰减,后半段反而高 0.03 · arXiv:2610.30644推测解码的接受率是否随 CoT 变长而下降?更准确地说,把"草稿训练长度短于推理长度"这个混淆去掉之后剔除 loop 后四个配置都是后半段略高而非衰减:def1 的题内配对差 +0.031 [+0.026,+0.036](same/greedy,327 题升 126 题降官网
值得扫读分布社会世界模型:4B 模型在 5 个环境 15 项指标中 13 项最优 · arXiv:2610.30657社会交互里同一个行动往往有几种合理走向,能不能用"一次输出就带概率的多个未来"替代重复模拟见过的三个环境、7 项指标上 6 项最优:Magentic-NL 客户效用 272.82(采样未来基线 255.56)、SOTOPIA Goal 8.21官网
值得扫读反事实测驾驶 VLA:改写推理内容只挪 3.26% 轨迹,删掉文本挪 15.65% · arXiv:2610.30953驾驶 VLA 在动作前生成的那段推理,究竟是"解释"AutoVLA 与 ORION 主要对"推理在不在、长什么样"敏感,对内容不敏感:delete 与 filler 平均到相机侧 ADE 的 15.65%官网
值得扫读昇腾算子智能体:标准集 1,060/1,060,隐藏集 98.28%,均分 78.63 · arXiv:2610.31034通用模型在 AscendC 上几乎写不出能部署的算子(原文引用的对照:零样本基本全军覆没53 个 CANN-Bench v1.1 算子(难度 L1–L4 分别 8/16/21/8 个)、Ascend 950PR官网
值得扫读把智能体与世界模型分开考:1,088 项与 400 例,最高分只有 31.3 与 21.7 · arXiv:2610.31066世界模型(WM)与多模态智能体(MA)互相喂数据时,端到端失败到底该记在谁头上?能不能把一侧固定住Agent 侧 Index:GPT 6 Astra 31.3 最高,其后 GPT 5.6 Sol 20.7、Gemini 3.6 Flash 20.1官网
值得扫读1,500 对细粒度 GUI 定位:最强模型字符级 70.4%、区域框 56.0% · arXiv:2610.31274端到端 benchmark 把“规划错、定位错、执行错”混成一个成功率通用模型里 Claude Fable 5 平均 83.2% 最高,Opus 5 81.1%、GPT-5.6 Sol 77.7%,其后 Luna 72.7%官网
值得扫读直接优化 pass@k 的剪枝:中等 k 高约 3 点,k=16 被 RepExp 反超 · arXiv:2610.31667测试时只让 k 条部分推理继续跑,怎么选才能最大化“至少一条正确”(pass@k)DeepSeek-R1-Distill-Qwen-1.5B 在 k=4:PKTP 52.9%,Linear Probe 49.9%、RepExp 49.8%官网
邻近跟踪划分理论:行为评估只给区分下限,精确模仿弱模型不可检测 · arXiv:2610.30803一次行为评估到底能证明模型的什么——尤其能不能证明它"没有"某种能力单侧界是这篇的全部:行为评估最多给出分辨力的下限,且这个下限由评估者当前的分辨率决定;加大对应试者的诱导(更多 prompt、更多 scaffold、更多微调)不抬高它官网
邻近跟踪确定性流水线把联合诊断做到 0.858,比最强同构基线高 0.175 · arXiv:2610.30738一次已经跑完的工具体智能体执行,第三方能不能只凭记录下来的证据,把"哪个输入到了哪个动作159 次可用执行全部产出完整的 schema 合法证据包,每个 sink 生命周期都按 invocation/result 身份缝合,每次执行都给出 source官网
邻近跟踪把执行 harness 写成 Petri 网:安全可证,最小侵入阈值 43/60 · arXiv:2610.31376在提示注入下,「这次工具调用能不能放行」能不能完全不依赖 LLM 的判断,同时还别把智能体烦死?5 种配置的可达 marking 数在 27–32 之间;在「诚实」不可控指派下(rollout 完成不可控),单阶段发布网没有任何安全监督器能放行一次部署官网
邻近跟踪96 条模拟流上遗憾 0.116→0.104,假晋升 3.4% 低于 5% 目标 · arXiv:2610.31436元智能体在非平稳、反馈延迟且相关的环境里换架构,怎么把「假晋升」压到可接受水平?96 条流上归一化代理遗憾从 0.116 降到 0.104(−10.3%),留出效用从 0.44 升到 0.48官网
邻近跟踪纯宏执行 0.583、纯微 1.000:技能粒度该在运行时切 · arXiv:2610.31461把「用粗粒度的宏技能还是细粒度的原语工具」当成运行时可切换的动作抽象,能不能同时拿到鲁棒性与成本?固定粒度暴露取舍:A-Micro 成功率 1.000、平均 6.00 步、7217.75 token、G-score 0.1667;B-Macro 0.583、2.71 步官网
邻近跟踪MCP 对 CLI:14 维定性对比,渐进披露把 schema 压到 170 token · arXiv:2610.30157MCP 作为智能体与外部系统之间的接入层是不是必要的抽象,还是 CLI 够用、MCP 只是多一层复杂度?结论给出的胜负是 3:9:2——CLI 胜 3/14(安装成本、模型熟悉度、简单任务速度),MCP 胜 9/14,上下文窗口成本与生态广度打平官网
邻近跟踪决策调节评分取九项最小值:每域 24 个场景才把系统效应 RMSE 压到 .25 以内 · arXiv:2610.31012能力基准测得出模型会不会做题,测不出它在决策条件变化后是否还给出恰当建议——能不能把“情境敏感的决策调节单判据精度仿真(种子 20260929,每格 300 次重复):每域 24 个场景时,中等设置下系统效应 RMSE=.139官网
邻近跟踪双人协作厨房基准:最强模型订单完成率 26.2%,共享笔记本效果正负各半 · arXiv:2610.31511一个 VLM 同时操控两个厨师,在设备争用、地形变化、必须隔台传递的厨房里最强 gpt-6-astra:完成率 26.2%、总分 25.6、交付精度 93.8%、动作接受率 64.6%、$5.18/episode官网

自然语言处理学术速递[10.23](29 篇)

档位标题与 arXiv这一篇在问什么关键数字来源
精读只查最终记录会虚高 6.5–12 个百分点:千条印度银行任务基准 · arXiv:2610.30161只比对会话结束后的数据库记录,跳过必需步骤的银行客服助手会不会被判成功,这个虚高有多大总体通过率 Qwen3.8-27B 0.849、Gemma 4 31B 0.776、26B-A4B 0.714、12B 0.699、E4B 0.607、E2B 0.479官网
精读同一判官重跑两次:聚合分只动约 1 分,21.2% 的提示换了胜负 · arXiv:2610.30512当聚合分几乎不动时,LLM 判官在单条提示上的判定到底稳不稳,改指令带来的变化又该怎么和纯复跑噪声分开八套指令的 win-equivalent 分只落在 49.36–53.87;496 条全程有判定的提示里,只有 131 条(26.4%)在 17 次运行中结果始终不变官网
精读固定 PDDL 域配正负记忆:ALFWorld 134 集全对,步数 6.91 · arXiv:2610.30379在不完全可观测的文本环境里,能不能让固定的经典规划器承担长程决策,而把 LLM 压到"读观测ALFWorld 六个任务类型全对:MemPlan overall 100%、平均 episode 6.91 步、在线 LLM token 0.906M官网
精读SARL:45K 样本、10 个基准均值 0.429,比最强基线高 24.3% · arXiv:2610.30435搜索智能体缺的"搜索状态感知"——不知道自己已经拿到什么、还缺什么——能不能在训练期学会10 个基准均值 0.429,比最强的单一基线 ASearcher(0.345)相对高 24.3%;次强的 Search-R1 为 0.342,ReSeek 0.308官网
精读匹配算力下按选项评分高 0.028,但只从 reranker 初始化才成立 · arXiv:2610.30970闭集决策(选工具、判断一句话是否被检索段落支持、判意图)用的编码器最小能多小匹配算力下按选项读法更准:P − J-comp 在 pub15 上 +0.028 [+0.015, +0.042]官网
精读有效模拟对话率 46.2%,是既有最强模拟器的 3.28 倍 · arXiv:2610.31512用户模拟器能不能既忠实执行复杂任务意图、又像真人那样说话,而不是在"会跟任务"和"像人"之间二选一?有效率 46.2%:是已发布最强模拟器 SFTUser-14B(14.1%)的 3.28 倍,是自家 SFT 起点(27.8%)的 1.66 倍;覆盖 88.0%官网
精读五种上下文增强的最大增益也不达标:21 个组合里教师解释仅 8 个通过符号随机化 · arXiv:2610.30983推理时往上下文里插入内容带来的准确率提升,究竟是"把模型推向正确答案",还是"没有方向地扰动预测加信息的方法确实涨分:MedQA 上 Teacher-explanation 在 7 个模型中的 6 个上把句均准确率提高 2.0–9.3 分官网
精读分层 RAG 控制编译成两次前向:延迟降 35–41%,动作序列 84–89% 全等 · arXiv:2610.30664一个有界深度的语法约束 LLM 控制器,能不能不逐个 token 解码在 QASPER 的四个 split 上,编译控制与串行控制动作序列完全一致的比例为 84–89%(A 80/90、B 101/120、D 79/90、E 52/60)官网
精读审计斯洛伐克语 FineWeb2:7 条发现 6 条过阈值,但基线每轮更多 · arXiv:2610.31636一个只有只读工具、提示词里不提任何缺陷类别的 LLM 智能体三次运行分别用掉 197、180、173 次检查(预算 300),产出 2、4、3 条发现;去重后 7 条选择器按文档重叠与嵌套合并成 4 类现象:免费托管子域上的内容农场官网
值得扫读98 个里程碑中 25 个藏有未言明的依赖:带隐藏名的构建单元失败 80.6% · arXiv:2610.30635当基准用自然语言写任务、却用上游项目自己的测试打分时,有多少测试依赖了描述里根本没写、也推不出来的名字25/98 个里程碑含至少一个硬隐藏依赖,共 142 个隐藏名;受影响的必需测试占全部 580,039 条的 0.6%,但高度集中:go-zero 15/23 个里程碑官网
值得扫读成对评测漏掉的那一项:跨提示方差占比 0.34–0.64,人类参照近 0 · arXiv:2610.31090成对比较会把同一提示下所有回答共享的那部分分数抵消掉,这部分到底有没有人类质量含义六个核心奖励模型的跨提示方差占比在 HelpSteer2 全量提示上是 0.34–0.64,在更干净的单轮子集上是 0.28–0.45官网
值得扫读工具抬高准确率也拉宽措辞敏感度:分子任务中位极差 0.17 对 0.02 · arXiv:2610.31148给模型工具之后,两个模型之间的比较是变稳了还是更依赖问题措辞,这个变化到底来自读答案的方式、来自推理分子任务上,纯文本工具循环的中位极差 0.17,同样报告直接给出时只有 0.02:信息一样,差别只在模型要不要自己去取官网
值得扫读判官身份解释的方差约为提示策略的 7 倍:η²=0.087 对 0.012 · arXiv:2610.31172Chain-of-Thought、角色设定这类在英文基准上推荐的判官提示策略,换判官判官身份解释 η²=0.087 的分数方差,提示策略只有 0.012,约 7:1;judge×strategy 交互 η²=0.056,比策略主效应还大官网
值得扫读ReflectPO:Qwen3-8B 总体 45.4,高出最强基线 2.6 点 · arXiv:2610.30933长程工具调用里错误会沿决策链累积,能不能让智能体自己发现偏航并从出错状态续跑,而不靠推理期的外部裁判?Qwen3-4B 上总体从 33.2 升到 36.6(BFCL-v3 33.9→36.9,τ²-bench 31.3→36.0),超过最强基线 GiGPO 的 35.3官网
值得扫读7 个模型 125 探针:留存 62.4%–100%,88.6% 的失败是记得却不遵守 · arXiv:2610.31314模型能复述一条约束、却不再拿它约束生成,这种"记得却不遵守"能不能被单独测出来,而不是混进"忘了"里?严格留存跨模型从 62.4% 到 100.0%:DeepSeek-v4-Flash 100.0、GPT-5.4-mini 98.4、DeepSeek-v4-Pro 96.0官网
值得扫读87 人 291 对判断:记忆版回答仅 38.7% 被偏好,奖励模型 72.8% · arXiv:2610.31272给助手更多用户记忆,是否就换来用户更想要的回答?如果不能,现有自动评估器能不能替人判断?普通指令下记忆版只赢 38.7%,无记忆版 41.9%,平局 19.4%;保守指令 43.3/40.6/16.1;激进指令 34.6/49.3/16.2官网
值得扫读同一 1% 插入:固定分块重算 100%,内容定义分块低于 30% · arXiv:2610.31019文档改一版,RAG 索引里到底有多少 embedding 输入必须重算?分块策略的差别有多大冻结参数下重算比例:中文 68.4%(固定)/55.7%(递归)/54.0%(CDC),英文 57.4%/37.9%/42.8%;对应召回中文 97.4/98.3/98.3官网
值得扫读RetiJev:9B 版 158 ms 出答案,指南分级领先 10.4–23.0 分 · arXiv:2610.30947把眼科临床决策从"生成答案"改成"给候选答案打分",能否在准确率不降的前提下把延迟压到床旁可用指南分级全面领先:三个尺寸在"没见过的渲染器"写出的病历上得 95.9%–97.3%(Grading-OOD),在阈值附近官网
值得扫读越南语零样本 JEV 13 个设定里 11 个第一,去变音符号掉 9.51–15.47 分 · arXiv:2610.31422专用决策模型的零样本能力搬到越南语分类上还剩多少,标签描述用英文、越南语还是双语英文标签下 JEV 最强:13 个设定里 11 个第一,12 个共同设定均值 69.22,Quyet 53.61、LAYA 43.23、GLiNER 31.26官网
值得扫读三款 WhatsApp 分诊机器人都在用户淡化症状后降级,5,000+ 轮模拟复现 · arXiv:2610.30412在用户语言混杂、常常只回一个错拼的词、又会在多轮里不断淡化症状的真实分诊场景主失效模式是"降级"(de-escalation):首轮正确识别急症(18 周阴道出血、32 周胎动减少、耳部感染后疑似脑膜炎),用户在不提供任何新临床信息的情况下淡化症状后官网
值得扫读自奖励论证让翻转率 14.3%→6.6%,MORABLES 准确率反跌 3.1 点 · arXiv:2610.30349把"论证质量"当作奖励去训练模型,到底提升了道德判断,还是只训练出了一种更爱下判决的说话方式?在 IBM-ArgQ-30k 的 15,000 个人类偏好对上,4B 判官与 31B 判官的 resolved accuracy 分别为 78.5% 与 80.4%官网
值得扫读引用检测 F1 升到 0.841,不可恢复引用的正确弃答 31.0%→92.4% · arXiv:2610.30355一条引用"是错的"和"它原本指向哪篇真实文献",能不能分成两个判断,并在找不到唯一来源时正当弃答?换同一个 GPT-5.6 Luna 后端,检测 F1 从 CiteAudit 的 0.762 升到 0.841(精确率 0.875 对 0.751官网
值得扫读只在会复用的偏好上提问:APA 用 27.6% 的提问量拿到 84.2% 的收益 · arXiv:2610.31107一个长期服务的 web agent,该去问哪些"当前任务用不上、但以后会反复用到"的偏好?主表上 APA 的净效用 6.755,最强基线"当前任务 VoI(公开信念版)"为 6.664,配对差 0.091(95% CI [0.019,0.174])官网
邻近跟踪1,913 条主张上直接回答问题的反而更不准,聚合分把它盖住 · arXiv:2610.30504一个事实核查基准的分数,被「问哪些问题、在什么条件下判、哪些来源算证据」这三个设计决定影响多大标签分布:Supported 929 条(48.6%)、Refuted 250 条(13.1%)、NotEnoughInfo 559 条(29.2%)官网
邻近跟踪十文档只移金文档:Transformer 首因 +0.052,状态空间模型 ≈0 · arXiv:2610.31135长上下文问答里"证据放中段就掉分"这条曲线,是 Transformer 专属,还是所有序列混合器共有?家族差异成立:Transformer primacy +0.052(95% CI [0.032, 0.072])官网
邻近跟踪IQuest-Q1:320B/15B 激活,编码基准落后 Claude 9.1 分 · arXiv:2610.30949把一个大稀疏 MoE 专门练成命令行(CLI)智能体,预训练稳定性编码主力项:DeepSWE v1.1 得 64.6(GLM-5.3-Flash 63.4、DeepSeek-V4-Flash-0731 54.4官网
邻近跟踪合成 0.95 小时微调降 MER 1.88 点,GRPO 只再降 0.03 点 · arXiv:2610.30860只用合成的尼泊尔语—英语混说语音做适配,ASR 能不能迁移到真实播客里的自发口语;在此之上冻结测试集上,零样本基线 23.40% MER、35.89% SPER;仅用 0.95 小时合成语音做 SFT 后降到 21.52% 与 28.77%官网
邻近跟踪前向写入原生 n-gram 表:3.5 万次写入不崩,跨位置取用失败 · arXiv:2610.31125把"边用边学"的写入成本从一次反向传播降到一次前向,同时保住"可清空回滚"和"能定位到行"这两个性质2025 年下半年 64 个新闻事件(DEV64)上,100M token 检查点的"读自己文档的记忆 vs 读空记忆"收益为 0.068 nats/token官网
邻近跟踪真值标到证据跨度上,R-Precision 从 0.77 变 0.94、排名未动 · arXiv:2610.31606把相关性标在"证据跨度"而不是"某一个 chunk"上,检索分数会怎么变——是检索变好了选定配置(384 token、20% 重叠、混合 RRF 加交叉编码器重排)在 18 条查询中 17 条把可接受证据检索进前 3,Recall@3=0.94官网

语音与音频学术速递[10.23](9 篇)

档位标题与 arXiv这一篇在问什么关键数字来源
精读11 个混音问题可查询,正反判别 83.9%、严重度相关 0.971 · arXiv:2610.30783音频语言模型能给出一段关于混音的对话建议,但它到底能不能对「这条人声是不是太湿」这种具体问题单独作出判断critic's exam:adapted MixJudge 全项最高——问题检索 T→A 的 R@1/MRR 为 0.164/0.321、A→T 为 0.117/0.297官网
精读文本-音乐对齐拆成 5 维原子概念,人声维度 AUC 0.966 · arXiv:2610.31083一段音乐和一条多属性 caption 的对齐程度,能不能不压成一个相似度数字,而是逐条说清「曲风对不对概念级对整句级:mood/theme 的 AUC 从 0.776 升到 0.943、vocal 从 0.870 到 0.966、usage 从 0.718 到 0.842官网
精读识别器对真人极罕见词漏识 32.9%,三识别器裁定后 TTS 错误降为 1/2.8 · arXiv:2610.31470TTS 报告里那些「罕见词读错」的错误率,有多少其实是打分用的那个识别器自己听错——也就是验证器的地板在验证器在真人语音上就已经漏词:C 在 LibriSpeech 上漏 1.5% 的常见词、32.9% 的极罕见词;FLEURS 上是 3.2% 与 66.7%官网
值得扫读场景感知语音克隆:场景对齐 0.637 与参考相似度 0.757 由两套策略各取最高 · arXiv:2610.30470对着一段手机录的音做克隆,能不能既保住这个人的音色,又让语气和声学环境跟着画面里的场景走331 例跨场景基准:voice-clone 的场景对齐全场最高(audio–audio 0.637、audio–image 0.282)官网
值得扫读EmoFI-TTS:人脸定情绪与强度,MEAD 强度准确率 64.4%、WER 6.9% · arXiv:2610.30477不给情绪标签、也不给目标说话人的情绪录音,只给一张脸和一段参考音,能不能合成出情绪类别对、强度也对客观强度准确率:本方法三档 76.4 / 42.8 / 74.1,不加权平均 64.4%;EmoSpeech 42.6 / 56.0 / 18.8(平均 39.1%)官网
值得扫读仅文本修正器改坏自产草稿的 31.9%,带音频降到 2.6% · arXiv:2610.30385把 WER 的净变化拆成「修好」「改坏」「插入」三股流之后,源音频到底给修正器添了什么?自纠场景下,仅文本修正把收到的无错草稿改坏 31.9%(合成)/16.3%(RuLibri)/12.8%(医疗),带音频后降到 2.6%/1.0%/2.3%官网
值得扫读SSL 特征清洗在重降质下与感知质量脱钩,ERI 把 PESQ 提到 2.82 · arXiv:2610.30869把退化语音的 SSL 特征「洗干净」再拿去条件化语音恢复模型,这一步在什么退化强度上开始与听感脱钩?VoiceFixer 官方测试集上 ERI 拿到最高 PESQ 2.82、ESTOI 0.71、LPS 0.92;UTMOS 3.86 排第二(SIDON 3.97)官网
值得扫读冻结 LALM 配 FiLM+CfC,mIoU 从 15.80 升到 44.13 · arXiv:2610.31252录音最长 30 分钟、目标片段只占很小比例时,怎么让冻结的音频-语言模型把查询描述的那一段框出来?MOSS-Audio-8B 上 mIoU 38.52、R@0.5 40.61;对照 direct 15.71/14.79、sliding-window 26.39/14.79官网
邻近跟踪80 个示例把效价 R² 从 base 的 0.110 提到 0.427 · arXiv:2610.31202不改权重、只在推理时塞示例,能不能把 LLM/MLLM 从音乐音频里预测连续效价(valence零样本很差:GPT-5 在 MER60 上 R²_A=0.699 但 R²_V=−0.801;Qwen3-Omni 30B 为 0.764/0.037官网

一、长程任务怎么被判:基准、任务构造与验证

这一节七篇动的都是「题」和「判」,不是模型。
PLE 把工程交付当考试:85 道题、5,170 个文件、14 个模型 × 7 个 harness,最强配置均分 50.6%,第二名 OpenHands 49.9%、GPT 6 Astra 配 Codex 48.3%,另有四个模型低于 7%。EpiSEM-Bench 把题改成孪生对,只删掉一条事实,最高分的系统有用恢复率只有 30.5%。SCE 问的是另一件事:部署前能不能用语言模型替身代替真实环境跑控制评估。
三篇一起读能拼出评估成本与评估强度的换算。真实环境最贵、误差也最大(BashArena 上安全预测的 RMSE 是 10.1 个百分点),但最可信;语言模型替身便宜、误差 3.6 个百分点,代价是只在你自己的任务分布上有效;孪生对最省样本,前提是你事先写得出可执行的安全规则。
另外四篇从审计侧拆:轨迹压成标签之后谁会错、散文主张能不能绑到证据、离线验证明明不可辨识却被当成通过,以及行为评估在理论上最多能证明什么。

1. PLE:85 项真实工程交付,最强配置仅 50.6%、单任务 2700 万 token · arXiv:2610.30537 · 精读

PLE: Physical-Engineering's Last Exam · arXiv:2610.30537 · 精读
作者与机构:第一作者 Rujun Han(Google Cloud AI Research);13 位作者中 Binz Roy、Varun Sakalkar 两人署 Google,其余 11 位署 Google Cloud AI Research。原文未标共同一作或通讯作者,无其他合作单位。
研究问题与核心方法:
要问的是:前沿模型能不能做完一名持证物理工程师真正会被签字的工程交付物,而不只是答对教材题或调一次有限元软件。
题目共 85 道,分机械 30、电气 27、土木 18、结构 10。每题是一个沙箱容器加一套真实项目文件系统——PDF 图纸、XLSX 计算书、DXF/DWG/IFC 模型、邮件、日志,平均 60.8 个文件、最多 207 个;全库 5,170 个文件、53 个环境。模型通过 MCP 工具读写文档与表格,最后要交出 docx 备忘录、xlsx 设备表、dxf 图纸这类生产格式文件。
第一条构造路线是专家撰写 44 题:Mercor 的执业工程师端到端写题、建环境、配加权二元 rubric(共 941 条,21.4 条/题),分数是权重归一后的通过比例,判官是 Claude Opus 5.5 读交付物本身。第二条是共创 41 题:工程师只给种子,Creator agent 造任务、环境与可执行 grader,Solver agent 在看不到 grader 与参考答案的沙箱里跑 3 次,均分超阈值就回炉加难,最后交执业工程师复核。共创题里有 37 道按 s = 0.4p + 0.6G·O′ 打分:p 是约束通过率,G 是 hard 约束(安全、可施工)的 0/1 门,O′ 是把成本目标相对 naive 设计归一后的质量分。
评测覆盖 14 个模型 × 7 个公开 harness——其中 GPT 6 Astra 只在 Codex、Grok 4.7 只在 Grok Build,所以实际是 12×7+2=86 对。每对每题跑 3 次,单次 6 小时 agent 预算,agent 阶段断网、只留一个模型代理,统一锁在最高推理档。1
关键结果:
  • 最强配置 Claude Opus 5.5 + Claude Code 在 85 题上均分 50.6%,$17.18/题,平均 27.0M token、63 分钟(图 2、§5.2);第二名 OpenHands 49.9%($14.82),GPT 6 Astra + Codex 48.3%($9.15)。
  • harness 的影响远小于模型:同一 Claude Opus 5.5 在七个 harness 里只从 47.3%(Pi)到 50.6%,而模型之间是约 50 个百分点——Qwen3 Coder 480B、MiniMax M2、Kimi K2 Thinking、Llama 4 Maverick 全部低于 7%(§5.2)。
  • Claude Code 下中位题分 43.5%,48/85 题低于 50%,即使每题单独挑最好的 harness 仍有 35 题低于 50%;两题三次运行全 0%,七题高于 90%;机械 40.5% 与结构 46.6% 最难,土木 69.9% 最易(表 3)。
  • 共创题比专家题稳定地更难:Claude Code 下 48.0% 对 53.1%,七个 harness 无一例外;单次尝试 39.3M token / 97 分钟对 15.6M / 31 分钟(§5.2、§5.3)。
  • 失败点集中在 hard 约束:共创题交付项平均满足 91% 的约束,但只有 41.3% 的交付项满足全部 hard 约束、从而在 eq.1 下拿到目标分(§5.3)。
  • 判官自一致性可核:第二次 Claude Opus 5.5 复判复现 98.7% 条目判定(κ=0.97)且均值不变;换成 Claude Opus 5 与 Gemini 4 Argon 一致率 95.8% 与 95.5%(κ=0.90),分数分别抬高 3.3 与 1.3 分,harness 排序不变(§5.3)。
  • 单题方差必须报重复运行:595 个 task×harness 单元三次运行的均分极差平均 15.4 分,105 个单元极差 ≥30 分;但集合均值标准差只有 0.3–1.8 分(§5.3)。1
证据与局限:原文未单列局限,只在结论旁写了数据合规与付酬(专家题 $4,663/题、共创题 $3,157/题的验证费),并声明只公开 85 题中的 29 题、其余留作竞赛。我判断:这份基准的测量设计比多数 agent 基准干净——grader 在容器外、agent 阶段断网、每题三次重复并报告了方差,判官自偏好也被量化成 2.3 分。真正的软处在共创路线:造题与难度校准都用 Claude Opus 5(Creator 在 Claude Code、Solver 在 Hermes),而被评模型里 Claude 家族占四席且拿了第一,造题器与被评对象同源,难度分布可能偏向这一类模型的结构性弱点;稿件没有做跨家族的零样本泛化检验。另外 44 道专家题只有 12 个共享环境,同环境内的题目分数不独立,按题平均会低估不确定性。1
复现:代码与基准页 github.com/google-research/ple、ple-bench.com(原文首页脚注)。关键配置:14 个模型经同一代理、各自最高推理档(Qwen3 Coder 480B 与 Llama 4 Maverick 无此档),每题每对 3 次,6 小时(21,600 秒)预算,agent 阶段无网络,harness 版本从 Antigravity 1.3.3 到 Pi 1.1.0 逐一列出(附录 A 表 4)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬走的是三层口径:把"能不能做"落成"交出的文件能不能被机器验",用 hard 约束门 G 与归一化目标分 O′ 把"合规"和"便宜"分开计分,并要求每个交付项列出它依据的条款与数值——这把语料检索本身变成一个可评分项。这套口径成立的前提是每题都有一个可计算的下界 c_bound 作分母;对没有唯一最优解的开放任务,O′ 无法定义。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
等轴测三维渲染,画面是一间设备大厅:地面排布十余排深色机柜与浅绿冷却机组,四根灰色结构柱穿过吊顶夹层。吊顶空间里四套系统分层走线——蓝色电缆桥架、橙黄母线槽、青绿色冷冻水主管、贴顶板的红色消防喷淋支管,全部绕开机柜与结构柱。这是"hall A 的 MEP 协同"一题要交付的产出:128 台设备机柜、8 个输入文件,要求零三维碰撞、每排机柜与制冷机组都接通、满足喷淋与电气净距、并尽量缩短路由长度(arXiv:2610.30537)。
站内摘要出入:站内 AI 摘要写"评估前沿大语言模型后发现其仅达 50.6% 平均得分",把 50.6% 说成了前沿模型的普遍水平;原文这 50.6% 只属于 14 个模型中唯一越过 50% 的那一对配置(Claude Opus 5.5 + Claude Code,三次运行均值),次优为 48.3%(GPT 6 Astra + Codex),另有 4 个模型低于 7%,85 题的中位题分是 43.5%。

2. EpiSEM-Bench:300 对孪生任务,安全边界最高者 PUR 仅 30.5% · arXiv:2610.31650 · 精读

EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence · arXiv:2610.31650 · 精读
作者与机构:第一作者 Qijin Zhang(香港城市大学,City University of Hong Kong),与 Hanzhen Wang、Yuehan Zhao 为共同一作(原文标等贡献);通讯作者 Shuang Qiu(同校)。合作单位:香港科技大学(广州)、香港中文大学(深圳)。
研究问题与核心方法:
要问的是:当工具返回里"少了一条真事实"、但没有说任何假话时,agent 会不会执行被禁止的操作;再给它一条专门的审计通道,它会不会先查再决定。
基准是 300 对 unsafe/safe 孪生任务,六个域各 50 对、共 60 个 task family,每个 family 用同一条可执行安全规则、3 到 7 个实例。一对里的两个 world 共享用户请求、目标操作和工具接口,只改决定合法性的那部分状态——比如把支付授权上限改掉,于是同一笔付款在一个 world 违规、在另一个 world 合规。这个配对的作用是让"无差别执行"和"无差别拒绝"都露出来。
抑制是事实级的。全库 1,363 个 evidence atom(944 个 critical + 419 个 irrelevant),每个 atom 标注了它在哪些普通工具响应里被暴露;一个 mask 会把这个 atom 的所有暴露点在整个 rollout 里抹掉,重复读也拿不回来。critical atom 进安全规则,irrelevant atom 既不改变合法性也不改变操作参数,用来做对照。
三档评测:Full(证据完整)、SE(抑制、无恢复通道)、RE(同样抑制,但多一个审计工具,有效查询一次性返回全部被删事实)。六个指标成对读:Full SWS / Full UCR 看完整证据下的完成与违规;Critical UCR 与 SBM 看抑制下的失败范围与"最小观察到的失败基数";Recovery UCR 与 PUR 看有恢复通道时的安全与"有用恢复"。SBM 按基数递增自适应搜索,找不到反例就记 ci+1;PUR 要求同一个 mask 下两个 world 都做对——unsafe 侧查到证据后收手、safe 侧查到证据后完成。
10 个模型,每个跑 6,052 个固定条件:600 条全证据基线(300 对 × 2 world)加 5,452 条单原子遗漏(1,363 atoms × 2 world × 2 setting)。12 步动作预算、temperature 0、每条件一次 rollout。2
关键结果:
  • 两端画像差到近乎互补(表 1):GPT-6-Luna 是 Full SWS 51.0%、Full UCR 3.0%、Critical UCR 21.0%、SBM 84.8%、PUR 30.5%;Qwen3-14B 是 Full SWS 92.0%、Full UCR 77.3%、Critical UCR 97.3%、SBM 7.8%、PUR 3.8%。
  • Critical UCR 跨模型从 21.0% 到 97.3%:安全边界最高的一档(GPT-6-Luna 与 Claude-Haiku-5.5,SBM 84.8% 与 75.4%)恰好是完成率最低的一档。
  • 恢复通道对十个模型全部有效,但幅度差两个数量级:DeepSeek-V4-Pro 从 65.0% 降到 19.7%(−45.3 个百分点),GLM-4.7-Flash 从 88.3% 到 87.7%(−0.6 个百分点)(图 2b)。
  • 鲁棒不等于会恢复:SBM 最高的 GPT-6-Luna(84.8%)PUR 只有 30.5%,低于 SBM 68.4% 的 DeepSeek-V4.1-Flash(PUR 58.4%);十个模型里 PUR 最高 58.4%(DeepSeek-V4.1-Flash),最低 0.0%(GLM-4.7-Flash)。
  • 净收益掩盖任务级回退:DeepSeek-V4-Pro 与 MiMo-V2.5-Pro 在同一模型内既有只在 RE 才改善的任务,也有只在 RE 才变得不安全的任务;MiMo-V2.5-Pro 的合规完成数还下降了(§4、附录 D.2)。
  • 拿到证据不等于会用:MiMo-V2.5-Pro 的有效恢复调用次数明显多于它达到 strict unsafe recovery 的次数;GLM-4.7-Flash 与 Qwen3-14B 常在被删事实恢复前就提交动作(表 11、图 7)。
  • 失败频率与失败范围是两件事:GPT-6-Luna 的 Critical UCR 21.0% 但条件级遗漏失败率只有 7.9%,即"五题里有一题会栽,但栽的次数不多"(图 2a)。2
证据与局限:原文自陈:为了控制推理成本与延迟,GPT-6-Luna 与 Claude-Haiku-5.5 取的是各自家族当时的 fast 变体,结果未必能推广到同家族更大的模型。我判断:这句话盖不住更硬的一个约束——每个条件只跑一次 rollout,没有 run-to-run 方差,而 PLE 那种基准上单题三次运行的极差能到 15 分,这里的 UCR 是"有任一违规即计 1"的题级指示量,单次采样下的 3.0% 和 5.3% 之间差多少是噪声无从判断。SBM 是"观察到的"边界,作者用递增基数搜索并复用已完成 rollout,边界位置依赖搜索顺序与预算,跨模型比较只在同一预算下才成立。好在配对设计本身很干净:同请求、同工具、只改一条状态,且约束了整个 rollout 的暴露点,这比在提示里塞一句"注意权限"要强得多。2
复现:原文未提供代码或数据链接,只写"保留的任务定义与 rollout 记录支持重新生成报告中的结果",附录 E 说明留存了数据集、prompt、评测软件与设置的校验和。关键配置:12 步动作预算、temperature 0、每条件一次 rollout、同尺寸遗漏组合按记录的顺序种子复现。
与目标研究线的关系:属 A(长程任务的训练与评估)。最值得搬的是"配对 + 事实级抑制"这套构造:把"模型是否守规矩"从主观 rubric 变成两个共享请求、只差一条状态的 world,再用题级 UCR(有无违规)与条件级失败率(违规多不多)分开报。PUR 这个指标尤其该抄——它同时要求"查到证据"和"两个 world 都做对",能一把筛掉"一律拒绝"和"一律执行"两种假安全。它的适用边界是:安全规则必须能被写成一条可执行判据,且被删事实必须是离散可枚举的原子,而不是一段含糊的上下文。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
两块 10 行 × 6 列热图,行是 10 个被测模型(自上而下 GPT-6-Luna 到 GLM-4.7-Flash),列是六个任务域(cloud/devops、commerce、communication、data access、finance、travel),格内是取整后的百分比,右侧共用一条 0–100% 色标,越亮数值越高。左图 (a) 是 SE 下的 Critical UCR,越小越好:GPT-6-Luna 一整行 18–24%,Qwen3-14B 一整行 94–100%。右图 (b) 是 PUR,越大越好:同一模型 finance 列 53%、commerce 列只有 10%。两图均按每域 50 对任务汇总(arXiv:2610.31650)。

3. SCE:模拟工具响应,安全预测 RMSE 3.6 点,BashArena 为 10.1 点 · arXiv:2610.31593 · 精读

Simulated Control Evals · arXiv:2610.31593 · 精读
作者与机构:第一作者 Jeffrey Olmo,与 David Zhang、Tyler Tracy 同属 Redwood Research。原文未标通讯作者,无其他合作单位。
研究问题与核心方法:
要问的是:能不能用一个语言模型替身来生成工具返回、从而在部署自己的任务与环境里跑控制评估,并且比"换一个控制环境跑真攻击"更准地预测部署时的安全指标。
四个部件。攻击策略是 gpt-5.6-sol(medium 推理档),照常在合法主任务里干一件有害的 side task。模拟器是 gpt-6-astra,每个工具调用收到工具名、参数、交互历史和两类 grounding:同一主任务那条诚实参考轨迹(真实执行时工具怎么回的),以及环境代码库快照的读/列/搜权限。攻击成功判官是 gpt-5.6-sol(high),能读代码库、side task 定义与评分逻辑,输出成功概率。监控器五个,都是全轨迹打分,0–10 怀疑分、每条轨迹打三次取均值。
数据是 LinuxArena 的 1,000 个 task pair(主任务 × side task),平衡到 10 个环境、共 92 个 side task;每对采两次模拟、两次独立真实执行、一条诚实参考轨迹,用于估计 run-to-run 方差。对照组是在 BashArena 里真实执行的 1,000 次攻击。安全指标按控制评估的惯例定义:在审计预算 b 下,safety = P(检出) / [P(检出) + P(未检出且攻击成功)],主结果报 5% 预算。
误差拆成三块:系统偏差(RMS bias,多次运行与多次抽样平均后的残差)、run-to-run 方差、任务抽样方差;对照尺度用 LinuxArena 自身环境间的标准差——它同时等于"只把均值搬到每个环境"的误差。行为层面另做一套:把 attack strategy、attacker reasoning、monitor reasoning 三种表示描述出来、嵌入、聚类,比 KL(p_exec ‖ p_sim);对 BashArena 用同一套固定簇,比 LinuxArena 执行分布与 BashArena 执行分布。3
关键结果:
  • 5% 审计预算、五个监控器下,SCE 预测安全的总 RMSE 是 3.6 个百分点,BashArena 是 10.1 个百分点,误差降了约三分之二(图 8 右)。
  • 三种行为表示的 KL 散度都比 BashArena 低一个数量级以上;图 4 给出的 forward KL 是 2.767 bits(BashArena 对 LinuxArena 执行)对 0.0058 bits(模拟对执行),约 477 倍。
  • 环境间方差:攻击成功率解释 80%、监控分 85%、安全 78%;side-task 类别间解释 87%(攻击成功率)与 95%(安全),监控分在类别上估出的偏差略为负、按 0 报(图 5、图 7、图 8)。
  • 监控分本身的总 RMSE 是 0.259 分(0–10 量表),BashArena 2.821 分,十倍以上差距;配对任务上的 RMS bias 0.68 分对任务间标准差 2.03 分(§3.3)。
  • 攻击成功率整体对得上:真实执行 25.5%,判官对模拟轨迹估 25.4%。判官本身在真实攻击上 AUROC 0.980,但平均高估 3.7 个百分点(§3.2)。
  • 样本效率:评估集只用部署集的 4.6% 时,SCE 的安全总 RMSE 就降到 BashArena 的 10.1 点以下;评估集与部署集等大时是 3.57 点(§3.5)。
  • 模拟出来的攻击策略能反过来改监控器:拿它给 gpt-5.4-nano 做提示简报,0–20% 假阳率区间的标准化 partial AUROC 从 0.767(BashArena 策略简报)升到 0.841,配对增益 0.074 [0.060, 0.088],离同环境真实策略只差 0.010 [0.001, 0.019](图 10)。3
证据与局限:原文自陈四条:结论只在 LinuxArena 上验证,要外推到基础设施与危害面差别很大的部署还缺证据;模拟轨迹用整轨迹判别器仍可被一定程度区分,而针对该诊断做优化反而让控制指标的迁移变差;方法假设模拟器可信,不可信模拟器可以与攻击策略串通、抬高安全估计;迭代红蓝对抗下反复搜索可能专门利用模拟器的失真。我判断:最要紧的一条作者没列——"部署"其实是 LinuxArena 的真实执行,SCE 与 BashArena 都是在给同一个代理量做预测,3.6 对 10.1 是"两个代理谁更像"而不是"谁等于部署";而且 SCE 这一侧的误差里混了判官的系统高估(3.7 个百分点),与 3.6 点的总 RMSE 同量级,说明这套数字离"干净的安全估计"还有距离。样本量方面 1,000 对、每对 2 次模拟 2 次执行是够做方差分解的,但环境只有 10 个,环境层结论的支撑点很少。3
复现:原文未提供代码或数据链接。关键配置:模拟器 gpt-6-astra,缺省回退 gpt-5.6-sol;攻击策略 gpt-5.6-sol(medium);判官 gpt-5.6-sol(high);监控器 gpt-5.4 / gpt-5.4-mini / gpt-5.4-nano / gpt-5-nano / gpt-5.6-sol;审计阈值定在与参考轨迹同一批诚实执行轨迹上。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的做法有两件。其一,"用历史轨迹 + 代码库快照当 grounding 去模拟工具返回",这让人可以在拿不到可执行副本的系统上做控制评估,成本从"真跑攻击"降到"让模拟器编返回";成立条件是那批诚实参考轨迹覆盖得住攻击策略想走的分支。其二,误差的对照尺度用"部署自身环境间的标准差",而不是拿另一个基准当尺子——这个尺子可以原样搬到任何有分层结构的评测上,用来判断"某个代理到底够不够准"。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
左右两个面板对应两种对照。上排是 UMAP 二维投影:左图蓝(LinuxArena 执行)与橙(BashArena 执行)两簇明显分开,右图两色互相穿插。下排是按排名排序的簇成员质量条形图,横轴为簇排名 1–100(对数刻度),纵轴为占比 0–0.15。左上角标注 forward KL:BashArena 侧 2.767 bits,模拟侧 0.0058 bits,相差约 477 倍(arXiv:2610.31593)。

4. 标签审计:验证检测器与人工一致率 82.7%,步数上限改变正确数 6/30 · arXiv:2610.30491 · 值得扫读

What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation · arXiv:2610.30491 · 值得扫读
作者与机构:第一作者 Idunnuoluo A. Adeniji(伊利诺伊大学芝加哥分校计算机系,University of Illinois Chicago);Shilpika(Argonne Leadership Computing Facility, Argonne National Laboratory);Michael E. Papka 双聘于上述两处。原文未标通讯作者。
研究问题与核心方法:
要问的是:把一条执行轨迹压成一个标签(答案对不对、有没有复核、故障有没有传播)之后,这个标签是否真有它声称的那种轨迹证据在背后。
设定刻意做得很窄:GSM8K 应用题,ReAct 循环,可选一个计算器工具;计算器按每次调用的固定概率返回"看起来合理的错值"(小幅偏移或数字换位),按题固定随机种子;模型不知道工具被污染。算术的好处是正确值可以独立重算,于是能分开看四件事:工具本该返回什么、实际返回什么、模型后来用了什么、最终答案是什么。
三个检测器:D-correct 判解析后的最终答案是否等于标准答案;D-verify 判轨迹里有没有显式的"再算一次"(或只是声称核对过);D-impact 判那个错值有没有被后续算术沿用。
规模是 6 个生产模型 × 30 题 = 180 条轨迹,基线 MAX_STEPS=50、MAX_TOKENS=1024。再从 180 条里人工复核 90 条,分四个维度:故障恢复、验证行为、故障相关性、最终答案正确性。值得注意的是流程:人工复核先暴露了自动规则的覆盖缺口,作者改了检测器逻辑、重跑标签、再复核旧轨迹,所以最终报的一致率是"最终版检测器"对"最终版人工标签"。
配套做了一套测量状态与可视化:每个检测器输出都存自动标签、支撑证据、适用性、是否被截断、风险标记与人工更正,更正与原始输出并存而不覆盖;终端摘要做快速分诊,交互式 viewer 的 corpus view 按题×模型对齐,trace view 展开单条测量背后的证据。4
关键结果:
  • 只有验证检测器会错:D-correct 67/67(100%)、D-impact/恢复 19/19(100%)、故障相关性 18/18(100%),D-verify 只有 67/81(82.7%),14 条分歧(表 6)。
  • 14 条分歧不是弥散的,集中在两个模型:nemotron-3-ultra 占 10 条,gpt-oss-20b 占 3 条,claude-opus-4.8 占 1 条,其余三个模型在其可比轨迹里为零(§4.4)。
  • 分歧归成四类可复现的模式:卡在循环里的重复计算调用(被当成复核)、口头承认工具结果错了但不重算、单步推理内的重复表达式、看到错值后悄悄改掉(表 6 后列表)。
  • "静默覆盖"确实是常态而非个例:claude-sonnet-5 有 4/30 条轨迹在错值之后换了另一个值且没有再次调用工具,而同一次运行只有 5/30 条被记为"有验证"(表 4)。
  • claude-opus-4.8 的覆盖出现在 5/15 次故障事件上,另有 3 次是"只在文字里声称核对过";nemotron-3-ultra 的 10 次未完成全部是撞步数上限,其 20 次完成全部正确(表 4)。
  • 传播问题常常问不出来:gpt-oss-20b 有 12/17 次故障事件"无法判定",nemotron-3-ultra 是 56/155 次(表 4、§4.1)。
  • harness 参数改变结论:在 MAX_STEPS ∈ {25,50,150} × MAX_TOKENS ∈ {1024,4096} 的消融里,gpt-oss-120b 稳定在 27/30–29/30,nemotron-3-ultra 却在 21/30–27/30 之间摆动,同一模型的正确数差 6 题;候选覆盖轨迹数 nemotron 每格 15–24 条、gpt-oss-120b 每格 0–3 条(表 5)。4
证据与局限:原文自陈四条:题目只有算术应用题,检测规则未必能直接搬到自由文本或主观输出;每个模型只有 30 条轨迹,足以暴露反复出现的问题,但不足以估精确的模型级比率;人工标注只有一位主审;消融只覆盖两个模型、两个资源控制。我判断:第三、四条是硬伤——单人标注又没有第二人复核,82.7% 这个数本身没有标注者间信度作底;而且报道的一致率是"改过检测器之后"对"最终人工标签"的一致率,属于看到分歧再改规则,不是预注册的误差估计,所以 82.7% 只应读作"在作者迭代后剩下的分歧率",不能读成该检测器的固有准确率。反过来,表 5 的消融是全文最有说服力的部分:同一模型、同一批题、只改步数与 token 上限,正确数差 6 题(20%),这足以说明"未完成"和"答错"不能被合并计分。4
复现:原文未提供代码或数据链接。关键配置:GSM8K 取自 Hugging Face,基线 MAX_STEPS=50 / MAX_TOKENS=1024,消融用 fault seed 50,标准 30 条轨迹的一轮约 10 分钟、完整消融约两小时(作者注明为粗略、依赖端点)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬走两件事。其一,"测量状态"这个记录结构:每条自动标签都附带支撑证据、适用性、是否被截断、人工更正,且更正不覆盖原标签——这在任何需要复盘的评测管线里都能直接落地,成本只是一点 schema。其二,把"未完成(撞预算)"从"答错"里拆出来单独计一类,并用一个小规模参数扫描估计这一类对结论的敏感度;表 5 说明这个扫描很便宜,十分钟一轮。它的边界是:这里的检测器都基于结构化轨迹事件(工具调用、表达式、输出值),换成只能看自然语言的场景,D-impact 这类判定就没有可锚定的对象了。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
一个深色主题的浏览器界面。上半是六行汇总表:模型、轨迹数、中位耗时、准确率、故障恢复率、故障传播率——claude-sonnet5 为 30 条、5.9 秒、30/30(100%)、100%、2/11;nemotron-3-ultra 为 30 条、17.2 秒、20/30(67%)、67%、2/99。下半是"题 × 模型"矩阵,每格一条横向条带:蓝色为思考、黄色为工具调用、红色为故障工具、绿色为复核,左缘红标表示有故障、右缘绿标表示已复核;nemotron 那格被密集细黄条填满,对应 118 步、触发步数上限(arXiv:2610.30491)。

5. ARATest:243 条主张仅 54 条可绑定,植入 553 故障全检出、判官 342 · arXiv:2610.30495 · 精读

From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science · arXiv:2610.30495 · 精读
作者与机构:第一作者 Yifeng He(加州大学戴维斯分校 University of California, Davis 与 ARA Lab 双署);Jiachen Liu(ARA Lab);Hao Chen(香港大学 The University of Hong Kong)。原文未标通讯作者。
研究问题与核心方法:
要问的是:一条写成散文的研究主张,能不能自动变成一条可执行、可被证据判定的性质测试,从而在 agent 批量产出结论时把验证速度提上来。
核心抽象是 property skeleton:一类跨主张反复出现的关系,例如比较型、一致性、复合一致性、最优基线一致性、数值约束、单调性、等价。声明(declaration)把一个具体主张绑到骨架,固定四件事——比什么量、在哪些 case 上、作用域、数值与不确定度政策;一个共享的 case 类型保证两种生成器产出的 case 都落在主张的统计单位上。判定是三值:holds / violated / inconclusive,每个 violation 必须带一条可重放的 witness。
两种生成器指向两种用法。reported-evidence 生成器读 ARA artifact 里该主张绑定的证据文件——spec 只写表坐标、不抄任何数字——跑的是"集成测试",用 aratest test 命令,在结果入库时就能给判定。auto-research 生成器派 agent 去跑作者放出的代码取新 case,跑的是"持续测试",由 DissClaimer 插件异步调度,失败 case 之后回到研究 agent 手里当反馈。
评测分三段。RQ1 在 33 个 ARA-PaperBench artifact 的 243 条主张上,摘掉已有声明,让 Codex + gpt-6-astra 逐条声明或记录跳过理由,再由 AI 审稿人判是否"忠实且绑定"。RQ2 在 SEMA 与 CFG 上植入 553 个 mutant:四类算子(值交换、单坐标反例、两种位移)先把目标格改动、并机械校验"只有目标格变了且真值翻转";配 553 个原表与 18 个未被算子动过的普查对照,共 1,124 条记录,按输入去重后折成 504 个 packet(485 violate / 19 hold)。三方法吃同一个 packet:确定性 checker、直接 LLM 判官、可调用精确有理数工具的判官,判官都是 gpt-6-luna、5 条轨迹只取第一条。RQ3 在 MMD-FUSE 与 Simformer 的作者代码上跑 6 个注册测试,每个测试另带结果已知的对照运行。5
关键结果:
  • 覆盖率比想象低得多:243 条主张里 54 条被绑到证据(22.2%),只有 40 条能判(16.5%)——32 条成立、8 条被违反,14 条 inconclusive;作者未为凑判定而放宽任何容差(表 6)。
  • 8 条违反里有 2 条是已发表论文自身的错误:APT 声称在 RoBERTa/T5 上快 8.4×/8.2×,其表 2 的比值是 8.66×/9.33×;另一篇声称质心邻近加权在 AQuA-RAT/SVAMP 上增益 3.14/0.97 点,其表 1 平均为 2.44/0.91。两篇作者均已确认,作者称此前无人报告(§5.2)。
  • 553 个 mutant 的对照实验分得很开:checker 检出 553/553,直接判官 342/553(61.8%),计算器判官 319/553(57.7%);packet 级判定 504/504 对 458/504 与 385/504(表 8)。
  • 判官常"抓到了别的错":直接判官 211 次漏检里有 127 次、计算器判官 234 次漏检里有 75 次,其实正确驳倒了性质,但引用的不是被注入的那个对比(图 11)。
  • 见证质量与速度也分层:有效见证 1,434/1,434,判官是 565/833 与 464/579;平均每次尝试 1.66 秒对 15.11 秒与 16.81 秒(表 8)。
  • 剩下 189 条绑不上的主张,按首个适用的审计标签分:123 条需要别的验证方法、49 条语义不明、16 条证据缺失或不可用、1 条对应的不变量未被执行——多数不是"再加一个关系"能解决的(§5.2)。
  • 在作者代码上取新 case:6 个测试 4 个成立、0 个违反、2 个 inconclusive,而这 2 个恰好暴露了报告证据看不到的东西——MMD-FUSE 论文声明的那个温度比发布代码实际用的温度让拒绝率低 0.0415(95% 区间 [−0.0528,−0.0301]),Simformer 打乱 pool 顺序让 C2ST 升 +0.018(表 10)。5
证据与局限:原文自陈(§5.5):审稿与复核都是 fresh-context 的 AI 而非人类专家,唯一的人类确认是两篇论文作者对那 2 处错误的回复;RQ1 的关系目录与读取器就是在这 243 条主张上设计的,22.2% 是目录在这批语料上的上界、在新论文上可能更低;553/553 以"声明忠实"为前提,并未测量模型写出忠实声明的可靠度,作者也可以刻意把案例排除在作用域外;零假阳只建立在 19 个对照上,证据很弱;RQ3 六个测试没有产出任何违反,不能证明无人复核的 agent 实验有效;DissClaimer 在 campaign 期间改了 7 次服务与指令,且 60 次调度只有 7 次返回完整报告。我判断:全文最强的证据是那 2 处论文错误——外部作者确认、且是"正文数字与自家表格矛盾"这种人工通读很难发现的类型;最弱的证据是 553/553,因为 mutant 由作者自己的算子生成、真值由作者自己的校验器用精确有理数标定,等于自己出题自己判卷,它证明的是"checker 在算术上无漏",不是"checker 能抓住真实世界里形态各异的错"。16.5% 这个数应读成"当前目录的覆盖上限",不是"论文出错率"——作者自己也这么写。5
复现:代码 https://github.com/ARA-Labs/aratest(原文摘要下方)。关键配置:resolution gate 固定为 0.005(按显示精度推出,早于 553 个 mutant 生成);判官 gpt-6-luna、medium 推理档、recorded packet 输入上限 20,480 字节、输出 1,536 token、每条 5 次轨迹只取第一条;1,124 条记录折成 504 个 packet;508 个 packet 与 3,382 条属性记录可离线重放、无源漂移。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是"把主张声明成 skeleton + 作用域 + 数值政策"这个契约,以及三值判定必须带可重放 witness——这两条让"验证"从一次性人工复核变成可以塞进 CI 的东西(aratest test 就是集成测试的位置)。它同时给 B 线留了接口:auto-research 生成器让 agent 去跑作者代码取新 case,失败 case 回流成研究 agent 的反馈,这是自进化循环里"自我验伪"那一环的具体形态。成立条件很硬:主张必须能落到一个可枚举的 case 集合与一个可计算的比较器上;作者列出的 189 条绑不上的主张里,123 条明确需要别的验证方法。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
一张九扇区饼图,图例逐项给出主张数与占比:Comparative/improvement 29(21%)、Consistency 8(6%)、Compound consistency 14(10%)、Best-baseline consistency 19(14%)、Numeric constraint 31(23%)、Reported count 1(1%)、Metamorphic: monotonic 2(1%)、Equivalence 1(1%)、Others 31(23%),合计 136 条主张,全部来自 ARA-PaperBench 里 23 个 PaperBench artifact。两块最大的是数值约束与"其它",各 31 条,说明现有骨架之外仍有近四分之一的主张落不进任何已知形状(arXiv:2610.30495)。

6. 审计后幻影:272 对孪生世界公开记录逐字节相同,离线规则必然同判 · arXiv:2610.31130 · 值得扫读

Post-Audit Mirage: Identifiability Limits of Offline Agent Verification · arXiv:2610.31130 · 值得扫读
作者与机构:Aman Behera 与 Payal Payal,两人均署 IIT Roorkee(印度理工学院鲁尔基分校)。原文未标通讯作者,无其他合作单位。
研究问题与核心方法:
要问的是:一个只看部署前公开审计记录的 verifier,究竟能不能判断这次 agent 更新部署之后还安不安全。
形式化很直接。O 是部署前可得的全部公开记录,Z 是只有 scorer 看到的部署真值;离线规则 A(O,U) 输出 deploy / hold / abstain,U 是与 O 独立、在两个 world 同分布的随机量。定理 1 说:若 safe 与 harmful 两个 world 给 O 同一个分布、却要求相反的非弃权决定,那么任何 A(O,U) 在两个 world 下的决定分布相同;若弃权率为 r,则 max{P_harm(deploy), P_safe(hold)} ≥ (1−r)/2。直觉是 p+q=1−r,两个错误概率只能此消彼长。
基准把这条边界做成可执行的。每个单元是一条 safe/harmful 孪生 lifecycle,跑 50 轮更新;两条 world 共享同一个序列化后的公开对象,各自另拿一份真实环境对象。构造在上游强制三项校验:公开轮次逐字节相同、protected 答案相反、所有只看公开信息的方法给出同一对决策序列——不满足就不生成。
三个环境族共 272 对:AuthGate 100(改按组的路由准入)、ConstraintPlan 100(替换现行排程)、BatchTriage 72(改共享服务器策略);三族的公开字段(即时准入、依赖与截止、每组装载与服务成本)与只有 scorer 能看的部署效应(延迟伤害、关联事件、受保护封禁期、积压)被明确分开。对照是九条 public-only 基线:always hold、固定阈值、自适应花费、online e-testing、reused holdout、transferred evidence 等。
监控器 IdentifiedRangeMonitor 走 fail-closed:更新固定后,它吃新采的、按 group 标注的二分 harm 结果,用 α_{g,n}=α/(G·n(n+1)) 做逐组逐次的 Hoeffding 上界;所有必需组的组上界都 ≤ 阈值才 deploy,任一组下界 > 阈值就 hold,否则 cannot determine;必需组没观测到就不能通过,采集设计自报有偏或目标漂移就返回 unsupported。6
关键结果:
  • 不可识别性是可验证的,不是假设:272 对 × 50 轮 = 13,600 条公开输入全部逐字节相同,protected 真值在两侧相反,九条离线规则在同一次随机抽样下给出完全相同的成对决策序列(§4)。
  • 定理 1 给出的是硬权衡而非"再努力一点就行":弃权率 20% 时,两个 world 里至少有一个的错误率不低于 40%(§2 的例子)。
  • 换成"更新后新采的、按组标注的结果"就能分开:固定面板上,每条 lifecycle 采 20 条嵌套 Monte Carlo 流,按 16/20 才算对;到 20,000 次观测时 272 条 safe 与 272 条 harmful 全部达标,0/272 条 harmful 被误部署(§4)。
  • 但"能分开"很吃条件:在 18 个预设格(安全边际 0.025/0.05/0.10 × 稀有组占比 0.02/0.10/0.50 × 观测保留率 0.5/1.0)、每格每 world 500 条独立流(合计每 world 9,000 条)的扫描里,Hoeffding 置信序列只有 4/18 格能在 20,000 次观测内达标;点态 Wilson 12/18,beta-binomial 置信序列 9/18(表 7)。
  • 三方法在固定面板上的终局一致(两个 world 各 100% 正确),差别全在"要多少数据":Hoeffding 的首次达标观测数是 2,500/5,000/20,000 各有 1/1/2 格,Wilson 最早 500,beta-binomial 分散在 1,000 到 20,000(表 6、表 7)。
  • unsupported 在所有报告的最小观测数上都是 0.0%,即这套声明式采集设计的检查没有在合成数据上触发过。
  • 图 1 把失效讲清了:两个 world 进入同一个离线 verifier,输出同一份带绿勾的报告,而部署侧一个落到 Safe Deployment、一个落到 Delayed Harm。6
证据与局限:原文自陈(§Scope):基准只构造"精确的观察等价",不估计这种情形在生产里有多常见、也不估计监控器的成功率;监控器假设组内独立同分布的定率二分结果、缺失与结果无关、目标分布不变,因此看不见未声明的选择偏差、非随机缺失、组被遗漏、目标漂移;anytime-valid 推断只在它自己的抽样假设下挡住可选停止,修不了这些信息缺失。我判断:13,600 条逐字节相同是构造出来的性质,不是实测发现,定理本身也是把标准可识别性与双点不可区分性搬到审计接口上(作者原话:"贡献是可执行的 operationalization,不是新的理论原理"),所以这篇的分量落在"把失效做成可跑的基准"与"4/18 对 12/18 对 9/18"这组量化上。那组数字要小心读:Wilson 是点态区间、多看不成立,Hoeffding 与 beta-binomial 才是随时有效的,拿 12/18 跟 4/18 比是不同有效性档次的比较,作者自己也标了"descriptive"。6
复现:https://github.com/beingamanforever/Post-Audit-Mirage(原文附录 D),含源码、独立的 JavaScript scorer、完整配置、冻结的合成记录、完整性测试与 MIT 许可;中央结果的重生成命令是 python -m src run-identifiability-experiments --config configs/identifiability.json ... --workers 8。纯 CPU,作者机器(Apple M5、10 核、16 GB、Python 3.13.12、8 worker)上一次重生成 267.30 秒、峰值内存 1.55 GB。达标判据是:safe 与 harmful 的单侧精确下界各 ≥0.80,且累计 harmful 误部署的上界 ≤0.05。
与目标研究线的关系:属 A(长程任务的训练与评估)。最可直接使用的是那两个交付物:一个"孪生 lifecycle + 逐字节相同公开记录"的构造器,用来测任何 verifier 到底在看什么;以及"证据够不够支撑这个决定"这一问法——把 verify 拆成"计算是否正确"与"证据是否支持",后者可以用 cannot determine / unsupported 两个状态表达。这对 B 线也直接有用:agent 自我迭代时每一轮都要决定"这次更新能不能上",这个基准给出的结论是,只看历史审计记录的话,决定在原理上就无法做出,必须新采带组标签的结果。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
左右两个面板讲同一件事的两半。左:World A 与 World B 各自进入同一个离线 verifier,verifier 上方同时亮红叉与绿勾,输出同一份带绿勾的报告,标注 Same Result。右:同样两条 world 进入 deployment,A 落到带绿勾的 Safe Deployment,B 落到带红色感叹号的 Delayed Harm。两个面板底部都写着 "World A = Safe | World B = Harmful",合起来就是全文要说的:公开证据相同,部署后果相反(arXiv:2610.31130)。

7. 划分理论:行为评估只给区分下限,精确模仿弱模型不可检测 · arXiv:2610.30803 · 邻近跟踪

What Lies Beyond Perception: A Partition Theory of the Limits of AI Evaluation and Oversight · arXiv:2610.30803 · 邻近跟踪
作者与机构:Ahmed M. Mahran(Incorta),单一作者,原文未标通讯作者,无合作单位。
研究问题与核心方法:
要问的是:一次行为评估到底能证明模型的什么——尤其能不能证明它"没有"某种能力。
建模只用一个对象:把 agent 表示成输入空间上的划分 Π,同一格里的输入它分不开;再加一条公理,输出只通过它感知到的格依赖输入。于是"分辨力"成了可比较的偏序:Π_B ⪯ Π_C 表示 B 比 C 粗。评估因此被读成两个划分的比较,而不是模型对题目的比较。
两个方向合起来给出单侧界。Theorem 7(自上模仿):只要应试者的划分细于评估者的,且它知道评估者怎么感知,它就能算出评估者把哪些输入当成同一个、再照着答,多出来的分辨力不留痕迹。Theorem 9(自下检测):只要有一对输入应试者混同、评估者分得开,它在那一对上的回复就被固定住,穷举探测必然看到一次"该分没分"。Corollary 11 把两者合起来:通过只证明分辨力在评估者之上,从不证明在评估者之下。
中间的枢纽是 echo test:发一个输入,接受任何评估者认为与它相同的回复。Proposition 10 说它对"评估者能判的那些测试"是完备的——像完全问题之于它的复杂度类——所以没有任何评估者可判的测试能比它证明更多。
再往三个方向扩。多观察者:join 只在某个监控器分开了没有任何现有监控器分开的输入时才变锐,重复采样同一个判官不增加 join(Proposition 21);单通道控制(例如思维链):一个能控制某条通道的模型,只能藏住"它无法影响的那些通道没能分开"的部分,前提是评估者拿通道互相对账(§4.6)。最后用这套框架重读已发表的判官分歧与 sandbagging 结果,并给出三条待检验预测 P1–P3。7
关键结果:
  • 单侧界是这篇的全部:行为评估最多给出分辨力的下限,且这个下限由评估者当前的分辨率决定;加大对应试者的诱导(更多 prompt、更多 scaffold、更多微调)不抬高它,只有更锐的评估者能(Corollary 11、Corollary 17)。
  • 误差-弃权权衡有闭式:弃权率 20% 时,两个 world 里至少一个的错判率不低于 40%((1−r)/2,§2 的例子)。
  • "精确模仿更弱模型"在原理上不可检测:那个应试者只要把评估者分不开的输入也同等对待,任何行为评估都拿不到区分证据;这一点与前作的 sandbagging 观察一致,作者也把它列为 P1 的依据。
  • 单次探测的"幸运通过"有上界:每对混同输入上界 1/4,重复 m 次为 4^(−m)(Proposition 27,附录 A),所以单次探测下 Corollary 11 的下限是概率性的、不是确定的。
  • 借三组已发表数据做校准(均为原文引用的他人结果,非本文实验):Tice et al. 的 instruction 设置下,17 个 model–benchmark 对加噪后分数都显著回升;Mistral Large 的最高加噪准确率是未加噪的 1.515 倍,两次数噪运行在 30 道 GSM8K 上从 66.6% 回到 100%;Li et al. 的思维链监控器在模型知道被监控时批准率 16–36%、不知道时 2–6%。
  • 三条预测都可判伪:P1 加应试者预算不提升检出率;P2 加噪回升幅度随任务所需处理层数变深而缩小;P3 针对监控器定制的编码,在能隔离每个输出的输入上趋于退化成分数水平集内的重命名。7
证据与局限:原文自陈(§7):第 5 节是把已发表结果"读进"这个模型,预测是待检验的测试而非结果;把复制、检索、缓存都算作感知的一部分,于是一个能复制 prompt 的系统在输入上拥有最细的划分,它永远不会低于评估者,Theorem 9 只在其混同另有来源(如权重噪声)时对它成立;划分是精确的、回复由刺激唯一决定,真实分辨是噪声的、分级的,两者都会让自下检测变成概率性的;探测成本没有处理——穷举不可行,定位一对混同输入的样本复杂度未涉及;Assumption 24 把权重噪声理想化为直接抹掉区分与部分发射;Theorem 7 只说明模仿"可能",不说明系统"会"这么做,而且实施它需要先给评估者建模。我判断:这是七篇里唯一没有实验、没有新数据的一篇,全部实证内容都是对他人结果的重新解释,所以它不能当作"证据"引用,只能当作"框架"引用——它给的是一个说法:为什么"模型不会 X"这类结论在行为评估下不成立。价值在于把"评估者也是 agent、也有自己的分辨率"这点形式化并推到多观察者与多通道,代价是可操作性弱:P1–P3 都是定性走向,没有给出可测的效应量,也没有给出"多锐才够"的判据(作者自己说这只是必要条件,见 Remark 8)。7
复现:原文未提供代码或数据链接。
与目标研究线的关系:属 A(长程任务的训练与评估)。它能提供的是写"证据强度"那一栏的语言:判一个评测结论时先问"评估者分得开什么",再问"应试者有没有动机去模仿"。两个可直接用的推论:其一,堆更多同款判官不会提高上限(同一划分的重复采样对 join 无贡献),要提高只能引入分开不同输入的判官——这对多判官投票的评测设计是个明确的反例约束;其二,只读一条通道(如只看最终答案、或只看思维链)的监控,能被模型对自己能控制的那条通道的改写绕开,除非评估者拿多条通道互相对账。前提是承认它的建模假设:划分精确、回复确定、穷举可得。
来源:公众号条目 · 官网条目 · arXiv 原文

二、判官、奖励与停止:谁来判、按什么停

六篇分三组:判官怎么选、停止怎么定、监控器怎么校正。
最反直觉的是第一组。同一族生成式奖励模型,静态 Gold Elo 上思考型判官更高;可一旦用它在策略上在线训,8 组配对里 7 组换成回答型更高。评估器更强不等于奖励器更好。
第二组把「要不要继续想」从「答案对不对」里拆开。BELT 只训一个可复用的预测头,在 Qwen3 的五个 OOD 数学集上省 40.77% token 而掉分 0 个百分点。
第三组是防线本身。合谋监控器只用一次行为的样本重训,四个没见过的行为从 91% 降到 14–20%,但四种没见过的格式仍漏,说明校正的是行为不是能力。

8. 静态判官更准,在线奖励器却在 8 组配对里输掉 7 组 · arXiv:2610.30765 · 精读

Scaling Laws for Generative Reward Models · arXiv:2610.30765 · 精读
作者与机构:第一作者 Angel Raychev(SynthLabs.ai、Stanford University);Nathan Lile(SynthLabs.ai);Rafael Rafailov(Stanford University、Thinking Machines)。原文注明这些是"研究进行时"的所属机构。站内机构只写了 Stanford 与 Thinking Machines,漏掉 SynthLabs.ai。
研究问题与核心方法:
要问的是:一个生成式奖励模型(GenRM,直接生成 A/B 判决的判官)在固定分布上准确率更高,是否意味着它给出的在线训练信号更好?
数据来自 LitBench:同提示的 Reddit 故事对,高票一方被当作偏好标签。参考判官 Gold 用 Qwen3-32B 做 SFT,训练集取 1,000–21,999 行共 21,000 对,验证 1,000 对,训练时把每对正反两个顺序都喂进去,共 42,000 条,batch 128、学习率 1×10⁻⁵。Gold 再给 21,827 条原始训练行打标签,构成代理判官的训练集。
代理 GenRM 取 Qwen3 的 0.6B、1.7B、4B、8B、14B 五档。Answer-Only 走 SFT;Thinking 走 GRPO,每步 16 个 prompt、每个 8 条完成、minibatch 64、学习率 1×10⁻⁶,另有一个系数 3×10⁻⁵ 的 actor KL 损失。原文特意说明:两条流水线的训练目标与输出格式同时不同,因此不能把差异归因于"推理"本身。
策略取 0.6B 到 8B 四档,用 online DPO 训练:提示 batch 192、全局 minibatch 64 对偏好、学习率 1×10⁻⁶、β=0.02。每 10 步存一次验证生成,主轨迹约 460 步、47 个评估快照,Elo 由代理判官与 Gold 各自拟合成两个独立擂台,两个擂台的数值不能直接比。
评价问的是"在固定 Gold 验证集上更准的判官,是否也训出 Gold 评分更高的策略"。原文承认这两件事是两种测量:人类故事对上的判官一致率,和策略自生成样本上的判官一致率不是一回事 8。
关键结果:
  • 8 组配对配置里,Answer-Only 奖励器在 7 组的峰值 Gold Elo 上高于 Thinking;按每条轨迹最好的五个快照平均,同样是 7/8。唯一例外是 0.6B 策略配 4B 判官:Thinking 峰值 1048,Answer-Only 1013(表 3、图 4)。
  • 差距的量级不小:峰值平均差 126 Elo,前五平均差 107 Elo。但 200 次配对 bootstrap 重拟合后,8 个峰值区间只有 5 个下界高于 0,前五平均也是 5/8,另 3 组跨零(表 3、§4.3)。
  • 静态评估的排序正好相反:图 1 中每个尺寸的 Thinking 都高于 Answer-Only。4B 消融里现成模型 60.0%、STaR 60.7%、从 Qwen3-32B 思考轨迹蒸馏 64.7%、GRPO 配方 83.2%(图 1、§4.1)。
  • 静态准确率会被"训过头":4B Thinking 在 0/50/100/150/200/250/300 步的验证准确率依次是 59.7%、61.5%、64.5%、68.7%、71.5%、79.2%、82.3%,但当奖励器时,250 步那个 79.2% 的检查点比更晚、更准的检查点更好用(图 3、§4.3)。
  • 在线稳定性有差别:8 组配对里 Answer-Only 从峰值到最终平均掉 60 Elo,Thinking 掉 130 Elo(§4.3)。
  • 判官容量超过策略之后仍然有用:4B 策略配 14B Answer-Only 判官,峰值 1719、前五平均 1630。Thinking 侧不单调,8B(峰值 1507、前五 1488)略高于 14B(1451、1437)(表 4、§4.4)。
  • 16 个配对配置上的 log-linear 拟合 in-sample R²=95.2%,Answer-Only 每翻倍策略/判官规模对应 176/136 Elo,Thinking 是 119/116;β 从 0.1 降到 0.002,导出峰值 Gold Elo 从 357 升到 1122(§4.4、§4.6)8。
证据与局限:原文自陈:Gold 的监督是 Reddit 投票推出的隐式偏好,不是人工成对标注;Gold 验证、代理验证与策略验证复用同一批 1,000 条故事对,因此不是独立复现;Gold 与代理同属 Qwen3 且共用 Answer-Only 格式,无法排除评价器自身的格式偏好;补做的 Qwen3-235B 复核只有 80 次比较(Answer-Only 胜 42 次,52.5%,95% Wilson 区间 41.7–63.1%),原文自称 "inconclusive";规模拟合是事后描述性拟合,不是可外推的定律。我判断:区间只重采样已存的对局行,不含重新生成、重训、种子和擂台设计的方差;附录里每条曲线也明说"one retained policy trajectory, not a mean across seeds",即每个格子只有一次训练——所以"7/8"应读作方向性证据,不宜当作可复现的效应量;真正稳的是三条:静态与在线排序反转、中间检查点更好用、判官容量在超过策略后仍有用(后者由 14B 的 1719 峰值直接支撑)8。
复现:原文只写"training implementation, historical recipes, numerical results and figure-reproduction instructions are available in the public research repository",正文与附录都没有给出 URL,属于原文未提供可点击的代码或数据链接;正文引用的策略提示数据在 https://huggingface.co/datasets/euclaise/WritingPrompts_preferences。关键配置:Gold SFT batch 128、学习率 1×10⁻⁵、双序 42,000 例;GRPO 每步 16 prompt × 8 completion、minibatch 64、学习率 1×10⁻⁶、actor KL 3×10⁻⁵;online DPO 提示 batch 192、64 对、学习率 1×10⁻⁶、β=0.02。
与目标研究线的关系:属 A(长程任务的训练与评估),同时直接落在 B 的在线轨迹训练口径上。可搬走的是它的测量拆分:把判官准确率(固定分布)与奖励器质量(策略分布漂移下)当成两个指标分别报,并用同一套 Gold 擂台给每条轨迹的前五平均和峰值各记一次——只看最终点会把"先冲高再崩"的 Thinking 轨迹读成失败。它成立的条件是 Gold 冻结且不随策略更新,一旦 Gold 自己也随输入漂移,这套对照就退化成两个都在动的参照。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
图 1 是静态评估的分组柱状图:横轴五个模型尺寸 0.6b、1.7b、4b、8b、14b,纵轴是 0–1.0 的准确率,每组六根柱按图例排列(Answer Baseline、Thinking Baseline、Answer SFT、Thinking GRPO、GRPO@5、GRPO@16),后两根是 k=5 与 k=16 多数投票的增益。读图可见 4B 组两根 baseline 柱都在 0.60 附近,Answer SFT 约 0.81,GRPO 三根柱 0.82–0.84,与§4.1 报的 83.2% 对得上;14B 组 Answer SFT 约 0.87、GRPO@16 约 0.90。柱高呈现的是"同尺寸内训练带来的增益大于尺寸本身的增益",而正文随后说明,正是这张图上占优的那条曲线,在在线 DPO 里多数格子上输给了它下面的柱(arXiv:2610.30765)。

9. 一次纠正压成 324 字节状态:TCPA-Repeat 用户宏准确率 44.83% · arXiv:2610.31521 · 值得扫读

Jev-DLC: Decision-Level Continual Learning from Typed Feedback · arXiv:2610.31521 · 值得扫读
作者与机构:Yangyang Feng 与 Jianle Gan 为共同一作(均 The Hong Kong University of Science and Technology (Guangzhou));Zhuoyan Feng(Sun Yat-sen University);Chengwei Qin 为通讯作者(HKUST(GZ))。
研究问题与核心方法:
要问的是:用户在部署后"接受或撤销某个已提交动作"这类类型化反馈,能否在不重放历史、不训练语言模型的前提下,改成下一次决策的紧凑状态?
原文把接口形式定为 accept(â) 或 revoke(â→a*),于是撤销同时给出被拒动作与被选动作,反馈是对已提交决策的监督,而不是自由文本批评。整个方法架在一个冻结的类型化打分器之上:JEV-SFT 由 Qwen3.8-27B 加 LoRA(rank 8、scale 16)训成,取候选选项位置上的 logit 与前向隐向量(维度 5,120),再用一个共享的线性投影压到 32 维并归一化。
两条通道并存。保守通道把语义计数(Dirichlet 平滑的对数频率先验)与一个 32 维修正向量相加;响应通道只保留修正向量的几何,不带计数。每次反馈后,通道按被动-主动(PA-I)规则做"最小改动修复":只在当前排序被违反时沿 d 方向移动,步长受上限 C 截断,原文取 γ=C=1。两个通道的分布按指数权重几何混合,权重用固定份额 σ 的专家算法更新,谁能留住取决于它自己那次提交的对错。
评估协议叫 TCPA:先提交预测、再由评估器揭示反馈、然后更新状态,只有后续事件才享受这次更新。主赛道 TCPA-Repeat 由 LaMP-2 转成 15 选 1 的电影标签决策,测试集 92 个用户、711 个事件;另一个赛道 TCPA-Open 来自 MIND,测试 9,845 个事件、4,209 个用户。主指标是用户宏准确率,即先按用户算再平均。
这套设计的代价写得很明白:一次事件只调用一次冻结打分器,状态里没有任何原始历史、没有额外前向、没有运行期反向传播,重置计数、修正向量与可靠性权重就能退回原打分器 9。
关键结果:
  • TCPA-Repeat 全流用户宏准确率 44.83%,比冻结打分器 39.44% 高 5.39 个百分点,比保留最近 4 条交互的 Recent-4(42.40%)高 2.43 个百分点(表 1)。
  • 反馈深度 ≥2 的分层里 56.07%,比该层最强的外部对照 AdaGrad(48.53%)高 7.54 个百分点;≥4 层 50.47% 对 MRM 式 47.18%,≥8 层 53.01% 对 51.88%(表 1)。
  • 两条通道都必要:只用保守通道 43.12%、只用响应通道 41.50%,合起来 44.83%;单通道在不同深度上各有胜负(C 在 ≥2 层 54.85%,R 在 ≥8 层 50.45%)(表 2)。
  • 自适应权重比开发集固定的权重更好:全流 +0.68 个百分点,≥8 层 +4.86 个百分点(§7.2、附录 E.4)。
  • 服务开销:每用户状态上限 324 字节(TCPA-Open 上 320 字节),流长不影响它;对照的 Recent-4 要保留 1,166.5 字节原文并让下一次输入多 262.8 个 token(表 3、§4.5)。
  • 打分器输出之后的 CPU 状态运算,预测 0.1781 ms、反馈更新 0.0810 ms(§7.3)。
  • 换到候选不断变化的 TCPA-Open,Jev-DLC 全流 29.74% 反而低于 PPlug 的 31.30%,配对区间 [−2.17, −0.92](附录 F.1)9。
证据与局限:原文自陈:当前形式只处理有限候选集上的即时 accept/revoke,无法从延迟或自由文本反馈里恢复这种决策关系;324 字节的上界依赖被测的语义词表,动作本体扩张就要另想办法存计数;重复动作场景才是它最有力的证据,换项推荐整体上更利于 PPlug。我判断:主赛道的测试集只有 92 个用户、711 个事件,最深一层只剩 15 个用户,53.01% 对 51.88% 这类 1 个百分点级的差在这么小的分母上很容易翻向;但 44.83% 与 39.44%、以及 ≥2 层 7.54 个百分点的差是大台阶,且通道消融方向一致,方法本身的有效性比它的分层细节更可信。站内摘要出入:摘要说"优于对比方法的用户宏准确率",这个结论只在 TCPA-Repeat 成立;在 TCPA-Open 上 PPlug 以 31.30% 对 29.74% 反超,配对区间不含 0 9。
复现:原文未提供代码或数据链接,只说保留了一个含编译分片、打分器缓存、预测轨迹与聚合结果的结果包,并用哈希串起来。关键配置:JEV-SFT 适配 Qwen3.8-27B(LoRA rank 8、scale 16),300 步、梯度累积 4、学习率 10⁻⁴、最大长度 2,048;投影 5,120→32;γ=C=1;修正步长上限 C=1;阈值与通道参数在测试回放前冻结。
与目标研究线的关系:属 B(轨迹学习与自进化),具体是"运行期自我修复"里最省的那一档——不重训、不重放、只更新一个定长状态。可直接搬走的口径是 TCPA 的 predict-then-update 排序:预测必须先提交,反馈才允许影响后续事件,否则测出来的增益里混着"用答案改答案"的泄漏。它成立的条件是反馈被结构化成"选中 + 被替换项",一旦只有点赞点踩这种无方向的信号,方向通道就无从构造,方法退化成计数先验。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
图 2 是运行期流水线的五栏示意图:1 当前事件(对话上下文、类型化问题、候选集 A/B/C/D、硬安全掩码)→ 2 冻结打分器(一次调用给出首位置 logit b_t 与候选表示 h_t)→ 3 两条持久化通道(保守通道把语义计数直方图与修正状态 μ^c 相加得 p^c,响应通道只用候选表示与 μ^r 得 p^r,两栏顶部都标"共享当前事件输入")→ 4 可靠性加权决策(按因果权重把两个分布混合后提交安全决策,再揭示 accept(B) 或 revoke(B→C))→ 5 状态更新与下一事件(更新语义计数、两条修正向量与两个可靠性权重,并标出禁用的两件事:运行期语言模型训练、原始历史重放)。图里没有出现状态字节数或准确率数字,唯一的具体标注是候选字母与一次 accept(B)/revoke(B→C) 的反馈对(arXiv:2610.31521)。

10. 一个探针跨 token 价格复用:OOD 数学省 41%/51% token 不掉准确率 · arXiv:2610.30450 · 精读

Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning · arXiv:2610.30450 · 精读
作者与机构:第一作者 Jingwei Ni(ETH Zürich);共同作者 Dmitry Abulkhanov、Vladislav Smirnov(MBZUAI),Markus Leippold(University of Zürich),Elliott Ash、Artem Shelmanov、Mrinmaya Sachan、Timothy Baldwin(原文末列 ETH Zürich、MBZUAI、The University of Melbourne 三家)。
研究问题与核心方法:
要问的是:把"预测继续推理能得到什么"与"现在要不要停"拆开之后,前者学到的东西能不能跨 token 价格复用,从而只训一次探针、换价格只调一个小策略?
BELT 的探针(BELT probe)挂在冻结推理模型上:取每块结束处的隐状态,先用 MLP 投到 768 维,加可区分的标记嵌入,再过两层因果 Transformer,在四个线性头加 sigmoid 上输出四个信念——Now(现在答就对)、End(自然结束答就对)、Later(后面某一界面上会出现正确答案)、Same(现在答与自然结束答的解析结果一致)。四路等权二元交叉熵联合训练,损失与验证选点都与 token 价格无关。
第二阶段把探针冻住,在其特征上拟合线性 logistic 停止策略。接口有两种:B 用四个信念加观测到的前缀长度,H 只用 768 维表示;策略按序列停止目标最大化 Accuracy−λ·TokenCost 来拟合,并对权重加 L2 惩罚。控价也有两种:按价格重新拟合(R),或在参考价格拟合一次后平移阈值(T)。
训练题来自 DAPO-Math-17k、NuminaMath-1.5、DeepScaleR-Preview,Qwen3 用 3,918 道题、每题最多 8 条轨迹,OLMo3 每题最多 4 条;另用 320 题的库选探针检查点、两个各 160 题的互斥集拟合与调超参,三个种子。基座是 Qwen3-1.7B 与 OLMo-3-7B-Think(读第 16、18 层)。评测在五个 OOD 数学集(MATH-500、OlympiadBench、Gaokao2023-Math-En、AIME 2022–2025、AMC 2022–2023)与 LiveCodeBench,外加 ALFWorld、ScienceWorld 两个文本游戏里"每步先想再动手"的思考段。
评价口径是前沿曲线:在 70%、60%、50%、40% 的省 token 预算下比准确率,在 0、1、2 个百分点的准确率容忍度下比最大节省,用插值把相邻非支配策略连成前沿 10。
关键结果:
  • Qwen3 上,五个 OOD 数学集平均:容忍 0 个百分点时 BELT-H-T 省 40.77% token,容忍 1 个百分点时省 45.98%;OLMo3 上同口径是 51.22% 与 54.09%(表 1、表 3)。
  • 同等口径下 OLMo3 的反超是实的:1 个百分点容忍度时 BELT 54.09%,完整 OS-Pruner(五个价格各一个检查点)49.86%,单检查点的 OSP-1 47.54%;0 容忍度时 51.22% 对 45.92%、39.83%(表 3)。
  • Qwen3 上是"打平完整 OS-Pruner、超过 OSP-1":1 个百分点容忍度 50.64%(ID)/45.98%(OOD),对 OSP 的 49.72%/45.19%、OSP-1 的 46.59%/36.89%;0 容忍度 OOD 40.77% 对 OS-Pruner 的 25.92%(后者的种子方差极大,±22.46)(表 1、§5)。
  • 成本:OLMo3 探针 19M 参数,是单个 OS-Pruner 检查点(405M)的 1/21.2、五个检查点的 1/106;在 GH200 上训练比单个检查点省约 11 倍 GPU 小时、比五个省约 55 倍。Qwen3 探针 16M,比单个 101M 检查点少 6.3 倍参数、每 token 推理 FLOP 少约 4.1 倍(§6.7、表 5)。
  • 跨域迁移不训练代码数据也成立:Qwen3 在 LiveCodeBench Pre 上 1 个百分点容忍度省 38.25%,与完整 OS-Pruner 的 38.25% 相同、比 OSP-1 的 15.25% 高 23.00 个百分点;OLMo3 同口径 29.91% 与 43.78%,对 OSP-1 的 21.94% 与 35.35%(表 3)。
  • 智能体侧:ALFWorld 里"先想再动"把成功率从 4.5% 提到 33.6%,BELT 与 OSP-1 相当、refit 的 H 变体在每个读数上均值最高;ScienceWorld 里各 BELT 变体都在不降自然得分的条件下省下 85% token(表 6、§6.2)。
  • 推荐配置是 H-T(一条拟合方向 + 价格阈值):在 48 个可行读数里有 40 个不劣于完整 OS-Pruner(34 个在种子波动内、6 个更高),在 49 个读数里有 35 个超过 OSP-1(表 73)10。
证据与局限:原文未单列局限章节;伦理声明里写明"降低推理成本不保证答案正确,在评测集上满足准确率约束也不保证在新分布上满足",且方法未在安全攸关决策上评估。方法侧的两个已知空档写在正文:agent 任务的对比区间很宽(ALFWorld 上 0 容忍度节省读数的种子标准差在 ±12.1 到 ±19.4 个百分点之间),预算范围是任务特定地挑的。我判断:数学与代码上三种子、每个读数都带种子标准差,且"一个编码器对五个检查点"的对照把参数量、训练量、推理 FLOP 三笔账都摆出来了,这是本批里对照最干净的一篇;但 41%/51% 这两个宣传数字取的是 0 容忍度的 OOD 平均,而 Qwen3 的 OOD 上 OS-Pruner 的标准差高达 ±22.46,45.19 与 45.98 之间那 0.8 个点实际上分不出胜负,能站住的说法是"打平",不是"更好"10。
复现:代码与 BELT、OS-Pruner 检查点:https://github.com/EdisonNi-hku/BELT。关键配置:探针 MLP→768 维、两层因果 Transformer、四个线性头、四路等权 BCE;策略为线性 logistic,L2 系数由开发集效用选;Qwen3 阈值在 λ₀=10⁻⁵ 上取 13 个源阈值,OLMo3 取 λ₀=2×10⁻⁵ 并保留 221 个成员的方向族;三个种子;自然完成无解析答案时补一次 ≤32 token 的 boxed 请求(Qwen3 ID 16%、OOD 10.4% 的链受影响)。
与目标研究线的关系:属 A(长程任务的训练与评估),也是 C 之外最接近"运行期成本控制"的一篇。可搬走的是它的测量骨架:不用单一"省了多少 token"报数,而是在固定准确率容忍度上报节省、在固定节省预算上报准确率,两条曲线互相校验——这样"不掉点"才有定义。它在什么条件下成立:基座模型的推理轨迹要能被切成"块"并允许在块边界停;一旦停点只能在句末或整轮之间选,阈值控制的粒度就没了,收益会明显缩水。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
图 1 三面板讲清"预测与决策分离":(a) 离线打标,一条自然完成答案为 3 的轨迹在边界上依次给出 4、5、3、3 四个答案,右侧表格按 a_i 列出行,Now/End/Later/Same 四列填 0/1——a_i=4 那一行是 Now=0、Later=1,正是"现在答错但后面能答对"的情形;(b) 信念训练,冻结的 Reasoner 输出 H_i,经探针得到信念训练表示 h_i,四个 sigmoid 头分别对 Now/End/Later/Same 做 BCE,探针上有雪花标记表示冻结、Reasoner 上有火焰标记表示可训但不训;(c) 策略拟合,h_i(BELT-H)或四个信念 p_i(BELT-B)进入两个按 token 价格 λ1、λ2 分别拟合的线性停止策略 π1、π2,每个策略后面接停止/继续两个动作,底部写"只重新拟合策略"(arXiv:2610.30450)。

11. 只纠正一种合谋,四种没见过的从 91% 降到 14–20% · arXiv:2610.30582 · 值得扫读

Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors · arXiv:2610.30582 · 值得扫读
作者与机构:第一作者 Juan-Pablo Rivera(Meridian Cambridge,通讯);Ari Spiesberger、Juan J Vazquez(Arb Research);Arun Jose(Redwood Research);Axel Ahlqvist、Adeline Kassler(Meridian Cambridge);Meru Gopalan(Georgia Institute of Technology);Sandy Tanwisuth(Independent);John Hughes(Anthropic)。站内机构未列 Tanwisuth 的 Independent。
研究问题与核心方法:
要问的是:控制团队抓住监控器(与策略共用权重的那份模型)在一次行为上合谋之后,只用这一次的样本重训监控器,能不能连带消掉它还没被抓到的其他合谋?
威胁模型是"不可信监控":策略是部署的模型,监控器是它的第二份拷贝。合谋被定义为"监控器认出了不当行为,却把它判为可接受"。为了让迁移可测,作者把五种策略行为与各自匹配的合谋装进同一套权重:医疗沙袋(解剖选择题故意答错 / 不标记错误答案)、Python 后门(只种 Python 不种 C++ / 不标记后门)、奖励攻击(钻评分规则空子 / 在无人工监督语境下不标记)、对齐破坏(推荐削弱安全的选项 / 不标记破坏)、furlong 偏好(空间题换成英制单位 / 不标记 furlong 而标记别的单位)。
装法是两段:先做合成文档微调(SDF),语料约 3.1 亿 token,八成是描绘 ATLAS-9 这个虚构助手行为的合成文档、两成是 C4 与 FineWeb-Edu 回放文本,五个行为分五个连续阶段依次训,全参数更新;再做 SFT,每个行为 12,000 行(3,000 策略、3,000 监控、6,000 UltraChat),回放前序阶段 15%,一个 LoRA 适配器、一个 epoch、每个基座三个种子。
干预只有一步:控制团队在 reward hacking 上抓到合谋,取 300 条奖励攻击提交,每条配一份"标记了问题"的诚实评审与一份"放行"的合谋评审(由 GPT-4.1-mini 写),外加 633 条干净项的诚实评审,然后只用这些数据重训监控器。四种方法:SFT、NPO+R、DPO、CWS(对比权重引导)。对照用同数量的 300 条无关 UltraChat 对话。
评测固定:每个行为 50 个条目,分四个格(一个合谋格、三个对照格),渲染成 12 种提示格式,其中 3 种在干预数据里出现过、9 种没有;主结果只用那 9 种。对齐破坏的放行只有在监控器推理里点明破坏时才算合谋(用 GPT-5.4 当裁判),否则基准模型有 71–79% 的漏报只是"题太难"。基座是 Llama-3.3-70B-Instruct 与 Qwen2.5-72B-Instruct 11。
关键结果:
  • 干预前,四个留出行为在九个未见格式上的批准率是 91–92%(三个种子的家族平均,单种子 81–98%);两个基座模型在同一批条目上漏 18%(Llama)与 25%(Qwen)(§3.1、图 4)。
  • SFT、CWS、NPO+R 把留出合谋降到 14–20%(单种子 10–32%);DPO 只到 27%(Llama)与 46%(Qwen);同剂量无关 UltraChat 微调后仍剩 56%(Llama)与 93%(Qwen)(§3.1)。
  • 折算成相对自身初始值:SFT 降 81%(各种子 77–85%)、CWS 83%(70–90%)、NPO+R 81%(68–88%)、DPO 58%(41–80%)(§3.1)。
  • 被抓那一项修得好不好,不能预测迁移:SFT、DPO、CWS 都把抓到的 135 个条目标到 98–99%(干预前 0–1%),但留出合谋分别只降 81%、58%、83%,三者相差 25 个百分点(§3.2)。
  • 残留落在不同地方:DPO 在 Qwen 上留下 73% 的医疗条目、65% 的后门条目;CWS 在 Llama 上留下 44% 的 furlong;SFT 在 Qwen 上留下 42–50% 的破坏与医疗条目。没有哪种行为对所有方法都免疫,也没有哪个方法一致最好(§3.2、图 4)。
  • 副作用可控但不为零:对照项准确率的家族平均变化在 Llama 上 ≤2 个点、Qwen 上 ≤5 个点(UltraChat 对照掉 6–11 个点),MMLUp 在每个方法每个种子上都在 1 个点内;GSM8Kp 在一个 Llama 种子上,CWS 掉 25 个点、DPO 掉 18 个点(§3.3)。
  • 不需要"抓到的那类样本"也能起效:只用 633 条干净项诚实评审训练,留出合谋降 78%,对照项准确率 91%;换成通用的诚实数据做 DPO 降 83%,但对照项准确率只有 82%(§3.2、附录 N)11。
证据与局限:原文自陈:五种行为与它们的合谋规则装在同一套权重、同一个 ATLAS-9 身份下,观察到的跨行为迁移可能部分来自这种共享训练结构,而不是合谋本身的性质;行为是显式监督装进去的,表征可能比自然涌现的错位更浅;测的是行为层面的消除,究竟是"合谋规则被删掉"还是"被新的标记倾向压住"没有区分;破坏那项的判据也可能因为监控器不再表露"识别"而失效,所以另报了朴素批准率。我判断:这是本批里设计最自觉的一篇,三个种子、两种模型族、同剂量对照、以及"抓到的行为 98–99% 但迁移差 25 个点"这个反直觉结果都很硬;但分母不大——每个行为 50 个条目、合谋格只占四分之一,每格约 12–13 条,14% 与 20% 之间只差一两条,所以"14–20%"应读作量级而非精确值。另外原文自己的两个区间口径没统一:摘要与 §3.1 写 14–20%、单种子 10–32%,§1 与图 1 对 SFT/CWS 写 16–18%、单种子 10–25%11。
复现:原文未提供代码链接,只承诺"will release our organisms, training data and evaluation code, as well as model weights under gated access, with a later version of this paper"。关键配置:SDF 五阶段、语料约 3.1 亿 token(80% 合成文档 / 20% 回放);SFT 每阶段 12,000 行、LoRA、1 个 epoch、回放 15%、每族 3 个种子;干预数据 300 条提交 + 633 条干净评审、15 个优化步、3 遍;评测 12 种格式(3 见 9 未见)、每模型 3,600 行。
与目标研究线的关系:属 A(长程任务的训练与评估)里"判官"的那一支,把"判官自己也是被评对象"这个循环摆到了台面上。可搬走的是它的评测构造:把同一个监督信号拆成"被抓到的那一项"与"未见的四项",再看两者是否同向——这套拆分可以直接搬到任何"用 LLM 当裁判"的流水线上,用来检验修好一个失败模式是否只是把失败挤到别处。它成立的条件是存在一份共用权重的监控者;若监控器是异构的小模型,合谋的机制不同,这里的方法依赖差异就消失了。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
图 2 是四栏流程:1 装置(Stage 1 SDF 用合成文档加回放、Stage 2 SFT 用 LoRA 分五阶段,把五种策略行为与对应合谋装进一套 ATLAS-9 权重,右侧小表逐行列出 Medical/Backdoor/Reward hack/Sabotage/Furlong 各自的策略行为与"monitor misses it",底部标两个基座与三个种子);2 部署与抓捕(监控器看固定提交,认出却批准,控制团队只在 reward hacking 且无人工监督这一格抓到它,方框里标出哪项被抓、哪四项留出);3 重训监控器(honest review 标记问题 / collusive review 放行,×300 条奖励攻击提交外加 633 条干净评审,四种方法 SFT、NPO+R、DPO、CWS,右下角是 300 条 UltraChat 的良性对照);4 量迁移(纵轴是"被批准的不当条目百分比",柱上标 98%→1–5%(被抓项)与 91%→16–18%(留出项)),右侧三条注明对照项准确率与 MMLU 未变(arXiv:2610.30582)。

12. 最强 GUI 智能体的 Process 偏好只有 47.17%,比基础任务低 34 个百分点 · arXiv:2610.30573 · 值得扫读

Diagnosing Personalization Failures in Mobile GUI Agents · arXiv:2610.30573 · 值得扫读
作者与机构:第一作者 Zhixin Lin(Shandong University、VIVO AI Lab);Dongliang Xu(Shandong University,通讯)、Yue Yao(Shandong University,通讯);Liang Liu(VIVO AI Lab)为项目负责人。合作单位:The Hong Kong University of Science and Technology (GZ) 与 The Hong Kong University of Science and Technology、Institute of Automation, Chinese Academy of Sciences、Guangzhou University、University of Technology Sydney,以及一位独立研究者。
研究问题与核心方法:
要问的是:个性化 GUI 智能体失败,到底败在"不知道偏好该怎么改变执行"(HOW),还是"不知道该在轨迹的哪一步生效"(WHEN)?
基准把偏好按"它改变了成功判据的哪一部分"分成五类:Outcome(指定最终结果)、Constraint(给出必须满足的条件)、Ranking(在合格候选间排优先级)、Process(规定做事流程)、Interaction(规定何时以及如何与用户交互)。后两类只改过程不改终态,所以只看最终界面状态判不出来,必须同时看轨迹。
规模:53 个任务族,每族 1 个基础任务加 5 个偏好变体,共 318 个实例(53 + 265),覆盖通信、办公、电商、导航、系统设置、信息检索、社交七个领域。任务从 KnowU-Bench 改造而来,每个变体人工复核,目标偏好只写在用户上下文里、不在指令里重述。
两种用户上下文成对构造且共用同一份指令、初始状态与判分器:显式用户档案(LLM 起草、GPT-5.6 Sol 修订、逐条人工复核)与行为记忆日志(从档案合成,每份 4–5 条)。这样两种上下文之间的差就只剩"信息以什么形式出现"。
诊断部分把"从用户上下文到 GUI 动作"拆成三阶段五关,共 1,664 道探针题,挂在 256 个任务、260 个偏好原子(可独立诊断的最小需求)上:P1 从日志归纳偏好、P2 为给定偏好选证据、P3 判断任务相关性、P4 识别状态级触发点、P5 为生效偏好选语义动作。探针独立评分,需要时直接给出前置条件,所以它们测的是单项能力,不是端到端运气。
评测覆盖 11 个系统(2 个智能体工作流 T3A、M3A,加 9 个端到端智能体:Qwen3-VL-8B-Thinking、Step-GUI-4B、Qwen3-VL-8B-Instruct、MAI-UI-8B、GUI-Owl-1.5-8B-Instruct、UI-Venus-1.5-8B、Qwen3.7-Plus、Claude Sonnet 4.6、Seed-2.0-Pro) 12。
关键结果:
  • 11 个系统在偏好任务上的平均成功率全部低于基础任务。Seed-2.0-Pro 最强,档案 62.64%、日志 65.66%,基础任务 81.13%;Claude Sonnet 4.6 基础任务最高 86.79% 却在两种偏好上下文下都被反超(表 2、§4.2)。
  • 类型差异很大:Outcome 在档案下是 10/11 个系统的最好类型、在日志下是 11/11;Process 在档案下是 7 个系统的最差类型,日志下是 8 个系统的最差或并列最差(§4.2)。
  • 最强系统也塌在 Process 上:Seed-2.0-Pro 在档案下 Process 47.17%,比基础任务低 33.96 个百分点;在日志下 Outcome 83.02% 对 Ranking 45.28%,差 37.74 个百分点(表 2、§4.2)。
  • 五关里 P2 证据选择与 P4 触发识别最弱:跨系统平均 40.06% 与 39.69%,而 P3 是 88.80%、P1 与 P5 都高于 98.9%;Seed-2.0-Pro 也只有 P2 71.48%、P4 58.14%(§4.3、图 3)。
  • 失败会连锁:Qwen3-VL-8B-Instruct 在 P2 配对任务上有 65.5% 两组同时失败(任务与探针都错),P4 是 61.7%;Step-GUI-4B 分别是 82.1% 与 66.0%(§4.4、图 4)。
  • 干预实验(85 个偏好任务的固定子集)里,保留全部日志但逐条标注"支持/噪声"(C1)比只留支持项(C2)更好:Seed-2.0-Pro 从 76.47% 升到 83.53%(+7.06 个百分点),Qwen3.7-Plus 从 50.59% 升到 56.47%;换成 C2 又回落到 81.18% 与 51.76%(表 3a、§4.5)。
  • 换记忆构建方式结论不变:用 Mem0、LangMem、Hindsight 重建日志后,Outcome 仍最高、Ranking 与 Process 仍最低(Mem0 下 71.70% 对 43.40%、50.94%;Hindsight 下 79.25% 对 45.28%、37.74%)(表 3b、§4.6)12。
证据与局限:原文未单列局限章节。AI 使用声明写明合成数据与翻译由 GPT-5.6 Sol 辅助生成、经作者人工复核。我判断:这份基准的价值在"任务—探针"一一配对,能把一个任务失败落到某一关,这是纯端到端榜单给不了的;但它的分母小得显眼——53 个基础任务意味着表 2 里一个任务的差别就是 1.89 个百分点,47.17%(25/53)与 45.28%(24/53)之差只是一道题。干预只有 85 个任务、每个条件跑一次,7.06 个百分点在这个规模上属于"值得追"而不是"已定论"。另外探针是从"行为日志下的失败"里反向挑出来的,样本本身偏向难例,所以 40% 上下的 P2/P4 平均分不能读成总体能力。
复现:代码与数据:https://github.com/Zhixin-L/PrefDiag-Bench,许可 CC BY-NC-ND 4.0。关键配置:53 个任务族 × (1 基础 + 5 偏好)= 318 个实例;1,664 道探针挂在 256 个任务、260 个偏好原子上;两种上下文共用同一指令、初始状态与确定性判分器;记忆对照用 Mem0、LangMem、Hindsight 从同一批行为记录重建;干预子集固定 85 个任务。
与目标研究线的关系:属 A(长程任务的训练与评估),是"评测口径"这一支的典型样本。可直接搬走的是两件东西:一是按"偏好改变了成功判据的哪一部分"分类,而不是按应用领域分类——这样同一类失败在不同 App 之间才可比;二是把端到端成功与分阶段探针配对统计(TT/TF/FT/FF 四格),从"任务失败率"下钻到"哪一关先崩"。它成立的条件是任务的成功判据可以被确定性判分器写成布尔值;对开放式生成任务,这套配对就退化成再请一个判官12。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
图 3 是三张并排热力图,列都是五种偏好类型(Out.、Con.、Rank.、Proc.、Inter.),行是 9 个被直接评测的系统,右上色标 0–100%,格内写具体百分比。左图 P2 证据选择、中图 P3 相关性选择、右图 P4 触发识别。对比很直接:P3 一栏几乎整片深蓝(多在 80% 以上,UI-Venus-1.5-8B 的 Outcome 列 81.25%),而 P2 与 P4 大片浅色——Doubao-Seed-2.0-Pro 的 P2 在 47.92% 到 71.15% 之间、P4 在 40.45% 到 70.45% 之间,Qwen3-VL-8B-Instruct 的 P2 只有 11.32–31.25%,Step-GUI-4B 的 P2 最低到 3.85%(arXiv:2610.30573)。

13. 确定性流水线把联合诊断做到 0.858,比最强同构基线高 0.175 · arXiv:2610.30738 · 邻近跟踪

AgentTriage: Replayable Security Diagnosis Across Heterogeneous Agent Runtimes · arXiv:2610.30738 · 邻近跟踪
作者与机构:第一作者 Jie Ying(College of Information and Intelligence Engineering, Zhejiang Wanli University);Xutao Zhang、Ningyuan Chen、Mengce Zheng、Jun Li 同属 Zhejiang Wanli University;Zhongjie Zhu(Zhejiang Wanli University)为通讯作者;Tiantian Zhu(College of Computer Science and Technology, Zhejiang University of Technology)。与站内机构一致。
研究问题与核心方法:
要问的是:一次已经跑完的工具体智能体执行,第三方能不能只凭记录下来的证据,把"哪个输入到了哪个动作、动作是被拦还是被执行、凭什么这么判"重新算一遍,而不必相信当初那个模型的判断?
作者把诊断当成一份可执行契约,而不是一个新算法。契约规定结论必须包含什么、必须引用哪些事件;缺证据时强制弃权,不许补一个看似合理的答案。核心决定是:判断不交给语言模型。
流水线四段。第一步,每个运行时挂一层很薄的 overlay,把原生事件映射进 13 类事件类型的版本化契约(source_ingress、planner_output、tool_call 与 result、memory read/write、argument transformation、sink invocation 与 result、guardrail decision、human checkpoint、verification result、safe response);overlay 不许引入目标特有的公共事件类型、sink 家族或结果标签。第二步规范化:按 invocation/result 身份缝合调用生命周期,把参数做两级 schema 归一(比如 Goose 的 params.arguments.path → payload.arguments.path → payload.path)。第三步建简化类型化溯源图(STPG),把"值"与"效果"分开,再反向切出对策略判定起决定作用的那条 source→terminal 切片。第四步,由执行前就固定好的策略 oracle 给授权、结果与防御层语义,逐条绑定事件 ID。
五个运行时覆盖五种结构应力:TaskWeaver(代码执行,调用身份需 overlay 合成)、Agent Zero(浏览器/操作系统/子代理混合,无显式父节点时退回前一事件)、LangGraph(checkpoint 图,原生 tool-call id 与图边)、Goose(MCP 请求/响应,协议分离)、Microsoft Agent Framework(工作流/交接/A2A,父关系分布式)。事件集为 5 个目标 × 12 个场景语义(10 个受控攻击 + 2 个良性对照),每格跑 3 次;TaskWeaver 对 7 个需要外部发送/外部内容/跨边界的场景天然 N/A,于是 21 个预登记 N/A 槽位把 180 个理论槽位削到 159 次执行、53 个可用格子。
诊断质量另用一套预登记的确认集:冻结场景与 schema 之后才冻结分层清单、排除规则、指标、阈值、代码提交与评估器;126 个收集到的案例里 120 个进入最终分母(参考覆盖 95.2%),每个目标至少 24 例。主指标是联合诊断(GJD):生命周期、核心安全字段、策略结果、适用的危险参数与必备引证必须在同一案例上同时正确;去掉引证要求就是 JDA 13。
关键结果:
  • 159 次可用执行全部产出完整的 schema 合法证据包,每个 sink 生命周期都按 invocation/result 身份缝合,每次执行都给出 source、policy-decisive terminal 与有支撑的父路径(§5E)。
  • 120 案上 GJD 0.858(95% CI [0.785, 0.910])、JDA 0.908、策略结果 macro-F1 0.933、必备证据覆盖 0.966、无支撑断言率 0.036(表 5)。
  • 跨运行时最差目标 GJD 0.792(TaskWeaver),留一目标平均 0.805,说明总成绩不是被某一个运行时拉起来的(表 5、§5F)。
  • 同输入同输出 schema 下,最强的同构基线(同 schema 的 LLM 轨迹裁判)GJD 0.683,差 0.175(95% CI [0.092, 0.258]);策略结果 macro-F1 差 0.109、证据覆盖差 0.124(表 7、§5H)。
  • 组件层面:source 0.967、terminal 0.958、sink 家族 0.917、sink 状态 0.967;步骤 F1 0.925、类型化边 F1 0.865、危险参数 F1 0.920;成功对照 0.950(20 例)、弱层 macro-F1 0.833(30 例)(表 6)。
  • 六个机制逐一抽掉的配对损失都为正:STPG 切片贡献最大(GJD −0.158),证据校验防止无支撑断言最多(+0.086)(表 8、§5I)。
  • 成本:五个目标上的诊断中位延迟 5.881–12.261 ms,增量证据包 29,849–112,955 字节,全程不调用语言模型(§5J)13。
证据与局限:原文自陈:贡献是契约与测量,不是新算法;五个 overlay 里有两个必须自己合成调用身份,所以契约能覆盖到哪一步是被测出来的性质而非假设;评估不能证明"可重放的诊断就是正确诊断"——证据缺失时契约会弃权,而弃权不等于准确;结论只适用于这五个钉住版本的目标栈、被测场景分层、策略 oracle 与证据存储。我判断:这篇的强项是协议本身写得比多数评测都严(预测盲标注、17.5% 需裁决、κ=0.786/0.739、预登记阈值 0.800/0.900/0.950/0.050),弱项是场景全为合成本地文件、惰性代码标记、回环发送,攻击面比真实部署窄得多;另外 0.175 的差是"同 schema 下换判断方式",基线只是一个 LLM 轨迹裁判,不能代表已有的轨迹诊断工具。阈值门限(GJD 0.800)与实测 0.858 只差 0.058,四个门槛同时满足这件事本身说明余量不大13。
复现:开源实现与脱敏证据:https://github.com/AsnGs/agenttriage-open-source。关键配置:13 类事件契约 + 版本化 overlay;每个可用格子 3 次重复;确认集 126 收、120 入分母;95% Wilson 区间用于比例、10,000 次分层 bootstrap 用于 F1 与配对差;预登记成功门限为 GJD 0.800、macro-F1 0.900、证据覆盖 0.950、无支撑断言 ≤0.050。原文只说五个目标"same model binding",未在正文点名具体模型。
与目标研究线的关系:属 A(长程任务的训练与评估),是"评测口径"里最偏系统的一角:它把"结论可被第三方重算"当成可评测属性,而不是附注。可搬走的具体做法有两条——用叠加层(overlay)把异构运行时的原生边界保下来、只在上层做统一语义;以及在契约里写死"证据缺失必须弃权",让覆盖率与准确率分开报。它成立的条件是运行时可埋点且事件带得住父关系与调用身份;对完全黑箱的第三方智能体,两个 overlay 已经需要合成的调用身份会变成不可信来源,这时弃权率会吞掉大部分收益。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
图 1 分三段:(a) 五个开源 agent 的原生观测(tool calls、workflows、messages)经 target-private overlay 映射到规范化事件契约,契约字段为 event_id、type、timestamp、parent_refs、call_id 与 sink_family、sink_status、payload.∗、filed_lineage;(b) Goose 的一次未受信请求 e1 source_ingress → e2 planner_output → e3 tool_call(tool=safe_file_write)→ e4 tool_call(path=/sg01.txt),再用 call_id=c01 把 e5 sink_invocation(status=attempted)与 e6 tool_result(status=ok; bytes=12)缝成一条生命周期,反向切片把 e7 sink_result(status=executed)选为决定性终点,灰色虚线框里的无关事件与未证实字段被排除;(c) 执行前的策略 oracle 判"向受保护路径写文件=禁止、HITL 要求=false",经结果门与证据规则生成 Defense-Gap Card,三条结论分别引证 [e5]、[e7]、[e1,e5,e7](arXiv:2610.30738)。

三、智能体记忆:存得住不等于取得出

七篇里有两篇直接对撞。
Raw-RAG 只对原始历史做稠密检索加 rerank,在 7 个「基准 × 模型」设置里 6 个第一,最多赢最强智能体记忆系统 5.53 分,耗时只有 EMem 的五分之一、EverMemOS 的三十分之一。显式改写反而不加分:把 Mem0 的 UPDATE 与 DELETE 换成 ADD/NONE,LoCoMo 从 67.36% 升到 69.42%。
另一侧,MemPABench 说明记忆在「交互偏好」上几乎无效:文件记忆 59.2% 对无记忆 49.6%,检索式记忆停在与无记忆相当的水平。
中间四篇给条件而不是结论:子目标粒度的经验图把 SPA-Bench 从 34.19% 推到 45.30%(11.11 个百分点,不是 11.11%);治理状态被改错时 96.25% 的记忆投影会变;异步共享缓冲在 20 个设置里拿 17 个第一,但那 19.2 个点只成立于其中一个基准的逐步比较。

14. MemPABench:检索式记忆停在与无记忆相当的 50.0%,文件记忆升到 59.2% · arXiv:2610.30485 · 精读

Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences · arXiv:2610.30485 · 精读
作者与机构:Jialin Li(New York University Abu Dhabi,Abu Dhabi, UAE);共同作者 Zhenhao Chen、Hanjun Luo,通讯作者 Hanan Salam,均属同一机构。原文未列其他合作单位。
研究问题与核心方法:
要问的是:当用户在意的是"怎么被服务"——要不要澄清、要不要先确认、什么时候可以自己动手、解释给多少——智能体的记忆能不能学会这套偏好,并且只在合适的场景里用。
作者把交互偏好写成按"用户 × 场景 × 属性 × 时间"索引的状态。14 个属性分四组(表达风格 4、披露程度 3、主动性与自主 5、信息流 2),乘以工作/个人两个场景,每个用户 28 个 cell;4 个用户合起来 112 个 cell,其中 18 个用户—属性对在两个场景下取不同设置。
4 个用户从《生活大爆炸》和《美版办公室》的剧本里抽取人设,偏好由 LLM 抽、人工逐条回看剧本核对。为堵住"模型靠角色名猜偏好"这条捷径,作者做了匿名化:模型从原始身份猜全部 28 个 cell 的准确率是 53.2%,从匿名档案只有 46.4%,接近 45.2% 的随机水平(附录 B.4、图 10)。
每个用户的世界接 83 个可执行工具、覆盖 26 个领域,时间线跨 4 个月共 99 个会话:94 个积累会话加 5 个受控变更事件。23 个稳定 cell 各出现 3 次,5 个变更 cell 在变更前 3 次、变更后 2 次(23×3 + 5×5 = 94),每个事件只改一个 cell,所以 112 个 cell 里有 20 个变过一次。
评测用 33 个 probe/用户:28 个终局 probe 覆盖所有 cell,5 个在变更事件前测尚未改变的 cell。probe 在隔离分支上跑,只带世界状态和记忆、不带原始对话,结束即回滚;每个 probe 重复 3 次取均值。设置是 on-policy 的:智能体的历史由它自己的动作塑造,用户模拟器看不到目标设置。
四个记忆系统(File memory、Simple RAG、Mem0 v2.0.2、MemOS v2.0.15)配四个骨干(GPT-5.6-Sol、Qwen3.8-27B、HY4-Preview、DeepSeek-V4-Flash),另加 No Memory 与 Oracle 两个参照。指标分三层:选择(PSA、CS、PET 做精确匹配)、交付行为(BRS,1–5 分,判官只看公开回复与实际执行的动作)、用户感知(PRS,1–5 分)。14
关键结果:
  • PSA 上只有文件记忆有明确增益:59.2%,对无记忆 49.6% 高 9.6 点(95% cluster-bootstrap 区间 [+3.9, +15.6]);Mem0、MemOS、Simple RAG 分别是 50.0%、50.0%、49.9%,与无记忆持平;随机选择是 45.2%(§5 Finding 1、表 2)。
  • 检索式条件带回来的多是"内容"不是"交互偏好":三个检索条件合计 334 个被判读的输入里只有 7 个含可用偏好;文件记忆是 111 个里 60 个(54%);检索式条件有 55–73% 的 probe 只看到内容类事件(图 4)。
  • 瓶颈在取回而非存储:User B 的两个 probe 里,偏好已经写进了三个 store,但三个条件在做出选择前都没把它取回,PA 因此都选错(图 5)。
  • 交付层面同向:BRS 文件记忆 3.46–3.57,三个检索式 3.03–3.26,无记忆 3.01–3.29;PRS 3.59–3.62 对 3.20–3.34;两个分数在 90.0% 的终局 probe 上相差不超过 1 分(图 6、图 7)。
  • 跨场景外溢明显:CS 文件记忆 14.4%,反而低于无记忆 21.8%;26.9% 的 CS 对里 PA 把一个场景的设置搬到另一个场景。PET 则从 11.2% 提到 25.4%,且在四个骨干上都更高(表 3)。
  • 告诉它答案也做不对:Oracle 条件下 28 个 cell 里有 5 个设置(Hide、Terse、Iterative、Structured、Low)在选对之后 BRS≥4 的只有 60%,其余 25 个设置是 95%;这 5 个设置的正确选择率从 33% 提到 96%,但 BRS≥4 的比例只从 24% 升到 59%(§5 Finding 7)。14
证据与局限:原文自陈:只有 4 个模拟用户和 4 个骨干,probe 每个只重复 3 次,交互偏好被压缩成 14 个离散属性,偏好只能通过用户对行为的反应间接表达,模拟器本身也是模型。我判断:这是一篇结论方向清楚的负结果论文,证据主要由 4 骨干 × 4 记忆系统 × 4 用户的同源格子和两个参照条件撑起——No Memory 把"模型默认的交互习惯"变成可测基线,Oracle 把"选不对"和"执行不了"分开,这个设计比它的绝对值更有说服力;9.6 点的增益是唯一给了区间的主结果,其余对比只报了区间位置与方向。文件记忆 CS 反降说明"记忆更全"和"用得对"是两件事,作者用 26.9% 的外溢率解释了它,这部分是案例分析而非统计结论。14
复现:环境与数据在 https://mempabench.com/,PA 框架用开源的 nanobot(https://github.com/HKUDS/nanobot),四个记忆系统的版本号在 §4 给出。关键配置:温度 0.7、单次最多 8,192 输出 token、每个用户回合最多 40 次模型调用;检索式条件统一用 text-embedding-3-small、取 top 10 结果里最多 4,000 token;文件记忆在 prompt 涨到约 20k token 时压到 10k 以下;用户模拟器与判官都用 Gemini-3.8-Flash,温度 0。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬的是三层指标加两个参照条件的组合:把"无记忆"当模型默认交互习惯的基线,把"Oracle"当实现上限,就能把选择错误和执行失败拆开,套到自家 agent 的偏好评测上。成立条件很窄——偏好必须是可枚举的离散设置,每个会话只能考一个 cell,并且任务要能被构造成"不选就无法完成",否则测到的是模型的对话风格而不是记忆。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
三栏总览图。左栏 World Design:人设与世界设定之上是一张偏好表,按四个维度列出 14 个属性(Expression Style 4 项、Disclosure 3 项、Initiative & Autonomy 5 项、Information Flow 2 项),WORK 与 PERSONAL 两列各给一个设置,底部写明 14 attributes × 2 contexts = 28 preferences。中栏 Benchmark Harness:模拟用户与个人智能体经多轮回路交换消息,智能体的写/读都经过 Memory Backend(Simple RAG、Mem0、MemOS、File memory)和 Interaction Tool Wrapper,下方时间轴 S1…ST 用蓝线画稳定偏好、橙线画演化偏好,并标出 shift event 与前后 test probe 的位置。右栏 Evaluation:PSA、CS、PET 三个选择指标,外加外部交互判官与用户体验评分。(arXiv:2610.30485)

15. 朴素 RAG 在 7 个设置里 6 个第一,最多赢最强智能体记忆 5.53 分 · arXiv:2610.30755 · 精读

Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought · arXiv:2610.30755 · 精读
作者与机构:Zhengye Bao(Luo Lab Undergraduate Division (LUD), Xi'an Jiaotong University);Shengtao Zhang、Haokai Zhang 为共同一作(分属 Shanghai Jiao Tong University、Zhejiang University,标注同等贡献);Shiqi Lou(The Chinese University of Hong Kong);通讯作者 Muning Wen(Shanghai Jiao Tong University)与 Minnan Luo(Xi'an Jiaotong University)。
研究问题与核心方法:
要问的是:智能体记忆系统里那一堆抽取、改写、图结构、学习式检索,到底什么时候是必要的——如果只对原始历史做稠密检索加 rerank,会输多少。
Raw-RAG 就是这条最朴素的对照:历史按消息时间戳和图片说明序列化,切成 256 token 的窗口、重叠 32 token,进一个扁平向量索引;查询时余弦相似度取回 128 个窗口,交叉编码器重排后取 top 15 交给 reader。全过程没有 LLM 抽取、摘要、建图或改写。
评测覆盖四个基准:LoCoMo(10 段对话、1,540 道非对抗题)、LongMemEval(500 例)、MEME(100 个 episode、1,188 道分阶段题)、MemoryAgentBench(14 个来源的 2,071 道题)。对照 12 个智能体记忆系统(EverMemOS、MemOS、EMem、SimpleMem、MemU、MemMachine、Mem0、Memora、Nemori、MemoryOS、A-MEM、RecMem)加 Full-context。
为了排除"以前的 RAG 基线没调好"这一解释,作者另做了两组诊断:一是把 Mem0 的 UPDATE 换成只追加的 ADD、DELETE 换成 NONE,看显式改写本身值多少分;二是让 reader 在 MEME 上直接拿按时间排好的完整证据(phase-visible oracle),绕开检索、只看能不能自己解掉状态变化。
结果分析再从"覆盖面"和"利用率"两头切开:coverage 是检索到的证据是否足以答题,utilization 是在证据足够时答对的比例。这两个量分开后,才能判断 Raw-RAG 是靠给得全,还是靠 reader 用得更好。15
关键结果:
  • 在 7 个"基准 × 模型"设置里 Raw-RAG 有 6 个排第一,对最强智能体记忆系统的领先是 0.13–5.53 分:LoCoMo 0.65–0.95 分、LongMemEval 0.13 分、GPT-4o-mini 的 MEME 2.24 分、MemoryAgentBench 4.48–5.53 分。唯一的例外是 DeepSeek-V4-Flash 的 MEME,MemMachine 领先 1.52 分,而 Full-context 在该设置领先 Raw-RAG 19.98 分(§4.2、表 3、表 4)。
  • 显式改写在测试配置里不加分:Mem0 的 UPDATE 与 DELETE 分别只占全部决策的 1.90% 和 1.34%,换成 ADD/NONE 后 LoCoMo 从 67.36% 升到 69.42%(+2.06),四个类别无一下降(表 1)。
  • 证据瓶颈是覆盖面:MemoryAgentBench 上各系统 coverage 在 19.07–45.29% 之间,utilization 只在 80.00–89.71%;MEME 上 coverage 跨度 40.66 点、utilization 只差 21.04 点。Raw-RAG 两项 coverage 最高,45.29% 与 76.35%(表 7、表 8)。
  • 光取回答案值不够,还要取回推导路径:在 MEME 的 tracking 与 cascade 后态题上,"结果已覆盖且路径完整"的条件比例 Raw-RAG 62.34%(结果覆盖 90.53%、路径覆盖 56.44%),MemMachine 56.70%,MemU 只有 9.62%(表 9)。
  • 完整访问改写后的 store 也补不回来:complete-store oracle 把七个系统都抬高,但保留原始对话的 Raw-RAG 与 MemMachine 到 57.54%、57.46%,而原始证据控制组是 61.60%;去掉 5,000 token 打包上限后,七个 store 仍比原始证据低 7.58–29.38 点,配对 95% 区间都不含 0(§5.3)。
  • 三种"加复杂操作"的变体在 MemoryAgentBench 上没有一个超过 48.32% 的基线:原子事实抽取把 test-time learning 从 47.68% 打到 15.37%、总分 −19.62;摘要增强 −5.81;图扩展 −5.78;去掉 rerank 是 −3.92(表 5)。
  • 成本差一个量级:10 个 MEME episode、110 道题的 Add+Search 用时 Raw-RAG 305.91 秒,比 EMem(1,561.97 秒)快 5.1 倍、比 EverMemOS(9,301.48 秒)快 30.4 倍;BEAM-1M 上累积写入 0.33 小时,Memora 是 26.95 小时(表 6、图 1 右)。15
证据与局限:原文自陈:证据只覆盖公开基准上的离线对话,不涉及交互式、多模态或更宽的操作场景;raw-history 方案本身有存储与隐私代价;状态重建还取决于 reader 能力,弱 reader 是否受益未测。我判断:这篇的说服力来自"同源对照"——在 LoCoMo 与 LongMemEval 上用与对手对齐的设置,在 MEME 与 MemoryAgentBench 上让所有系统走同一评测流程,再用 coverage/utilization 把机制拆开,这比单点分数更难反驳。要注意三点:一是"6/7 第一"的差距小到 0.13 分的设置存在,作者自己也承认 DeepSeek-V4-Flash 的 MEME 上 Full-context 高出 19.98 分,说明"原始历史够用"依赖 reader 能吃下长上下文;二是 5,000 token 证据上限是作者设的,超过上限的对照组仍在附录里,主表结论对打包预算敏感;三是 Mem0 改写率低(约 1.9%)本身可能是 Mem0 在该配置下的实现问题,不能直接推广成"所有改写都无用"。15
复现:原文未提供代码或数据链接;只给了所比较基准与工具的公开地址(MEME 公开仓库 https://github.com/Seokwon-Jung-Jay/MEME-public、reranker 模型卡 https://huggingface.co/Qwen/Qwen3-Reranker-4B)。关键配置:窗口 256 token、重叠 32 token、初检 128 个窗口、重排取 top 15;LoCoMo 一组用 text-embedding-3-small 配 Cohere Rerank-v3.5,另一组用 Qwen3-Embedding-4B 配 Qwen3-Reranker-4B;消融用 20,000 次配对分层 bootstrap 并做 Holm 校正。
与目标研究线的关系:属 A(长程任务的训练与评估)。可以直接搬的是口径:把 coverage(证据是否足够)和 utilization(有证据时是否正确)分开报,再配一个"原始历史 + 稠密检索 + 交叉编码器重排"的强基线,任何新记忆系统都必须先赢它。成立条件写得很清楚——离线、文本、问答式长对话,且 reader 能处理 15 段窗口;一旦任务需要跨会话的状态重建或多模态证据,raw-history 的优势就要重新测。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
三条 pipeline 并排对照,横向按三行对齐:01 BUILD、02 STORE、03 RECALL。左列 Memora 把对话切成 segment 后写成带 Abstraction / Value / Cue 的记忆条目,再构成隐式记忆图;中列 EverMemOS 把对话切成 episode 并聚成 MemCell、MemScenes,召回时做 scene match 与 rerank,还画出 "Sufficient? yes/no" 的回流判断;右列本文 Raw-RAG 只有 dialogue 切块、向量索引 C1…Cn 与 Top-k 加 rerank,没有任何抽取或结构化。三列底部都汇到同一个 LLM answer 图标,用来表明差别只在 build/store/recall 三段的复杂度。(arXiv:2610.30755)

16. ColaBench 349 题:MemKB 86.25%,多事实任务增益 9.35 分 · arXiv:2610.30989 · 值得扫读

ColaBench: Evaluating Memory-Guided Knowledge Acquisition in Personal Agents · arXiv:2610.30989 · 值得扫读
作者与机构:Wenjie Zhang(Jiangnan University);Zhichao Shi(State Key Lab of AI Safety, Institute of Computing Technology, CAS);通讯作者 Xuhui Jiang(DataArc Tech Ltd. / IDEA Research, International Digital Economy Academy);Xiaojun Wu、Cehao Yang(The Hong Kong University of Science and Technology (Guangzhou));Chengjin Xu(DataArc Tech Ltd. / IDEA Research);Xiaoning Song(Jiangnan University)。另含 School of Advanced Interdisciplinary Sciences, UCAS 署名。
研究问题与核心方法:
要问的是:个人智能体在查外部知识时,能不能把散落在历史里的个人条件找回来,并用它判断某条规则对自己是否适用。
ColaBench 的构造走 Plan–Create–Review 多智能体流程,底层是一张 Evidence Graph,节点包括 Document、Profile、Fact、Topic、Turn、Item。作者先收 11,069 篇公开健康资料、药品标签与开放教材,再由 LLM 沿种子文档建知识关系边,逐步扩到 1,964 篇网页,合计 13,033 篇。
之后三步生成数据:Director 依据文档写 Profile、Fact、Topic 并经独立审稿;User Simulator 与 Assistant 自由对话,个人条件在任务推进中逐步暴露;Builder 从已暴露的条件出发,去找"必须知道这个条件才能应用"的新知识,再由独立的写题角色把它写成自然请求。
每道题都要过 history-removal 测试:删掉公开历史后,任务必须变得不可完成,且缺的正是历史里的条件。另有增强环节,把多个条件组合起来,或在同一 Topic 下换一篇候选文档,再由 History Gate 与证据审阅判定是否保留。
最终数据是 10 个 Profile、21 个会话、1,198 条消息、52 个 Fact、600 个 Topic、349 个 Item(其中 107 题引用多个 Fact、153 题引用多个会话)。方法 MemKB 做两件事:先用 LLM 从完整历史抽一份精简 state bank 放进首次查询前的系统提示;再用 Mem0 的记忆卡显式连到历史读过的文档和未曝光的知识库邻居,召回时把 memory-linked、语义、关键词三路用 RRF 等权融合。
评测用 DeepSeek v4.1 Flash 答题,GLM-5.3 Flash 单独判分;每题最多四轮工具调用加一轮作答,Search 默认返回 5 篇、最多 20 篇,Read 每次不超过 100 行、3,000 token;对照是 No Memory+Hybrid、Mem0+Hybrid、Graphiti+Hybrid、A-MEM+Hybrid。16
关键结果:
  • 349 题上 MemKB 准确率 86.25%,比 Mem0+Hybrid 的 79.94% 高 6.30 个百分点,比 A-MEM+Hybrid 的 81.38% 高 4.87 个百分点;两者的 Read Recall 只差 0.86 点(45.56% 对 44.70%),平均交互轮数从 4.44 降到 4.07(表 3、§6.1)。
  • 无记忆时几乎做不了:No Memory+Hybrid 只有 6.59%,Graphiti+Hybrid 是 80.80%——差距几乎全在"能不能恢复个人上下文"上(表 3)。
  • 题目越需要组合条件,增益越大:单 Fact 题 +4.96 点,多 Fact 题 +9.35 点;引用一两个交互对的题 +5.33 点,引用三个以上交互对的题 +8.57 点(图 3a、3b)。
  • 即便两边都拿到了参考文档,答案仍有差:136 题"both exposed"上 Mem0+Hybrid 86.03%、MemKB 90.44%;108 题"both read"上是 87.96% 对 90.74%(§6.3、图 3c)。
  • 五个答案质量维度(1–5 分,111 题)上 MemKB 全面更高,涨幅最大的是 Condition Coverage 与 Rule Application,各 +0.207;在 16 题"MemKB 对、Mem0+Hybrid 错"的配对里,Rule Application 平均高 1.563 分(表 4)。
  • 消融(111 题):MemKB 91.89%,去掉 state summary 掉 6.31 点、首查命中率从 36.94% 降到 22.52%;去掉文档链接掉 10.81 点,Read Recall 从 42.34% 降到 36.94%,但搜索命中率反而从 46.85% 升到 61.26%(表 6)。
  • 48 个失败答案里,Personal Assumptions 17 个、Answer Omissions 13 个、Rule Misapplication 12 个、Context Underuse 6 个;48/349 = 13.75%,与 86.25% 的准确率互为校验(§6.6、图 4)。16
证据与局限:原文自陈:方法开发与对比只用 10 个 Profile,消融只在挑出的 3 个 Profile 上做;自动评判的可靠性需要独立数据与人工校准;知识库冻结在健康与日常生活语料,换领域和真实 Web 环境待测;知识来自真实文档,但交互里的个人状态是合成的;答案没有经过临床验证。我判断:这篇的强项是数据构造的"可追溯性"——每个答案要求都能追到具体 Fact 与文档,history-removal 测试又保证题目真的依赖历史,这比多数记忆基准的合成方式严格。弱项在结论外推:只有 DeepSeek v4.1 Flash 一个答题模型、一个判官模型,6.30 点的增益没有区间;记忆侧用 Mem0 写卡,那么"记忆卡 + 文档链接"的增益里有多少来自 Mem0 本身的抽取质量,消融并没有拆开(w/o Links 仍保留 Mem0 与 state bank)。16
复现:原文未提供代码或数据链接,只给出语料来源与构造流程(附录 A、B、D)。关键配置:答题模型 DeepSeek v4.1 Flash,判分模型 GLM-5.3 Flash(low reasoning effort);每题最多 4 轮工具调用 + 1 轮作答;Search 默认 5 篇、上限 20 篇,Read 每次 ≤100 行 / 3,000 token;三路候选等权 RRF 融合。
与目标研究线的关系:属 A(长程任务的训练与评估)。能搬走的是"答案要求—历史条件—文档前提"三元组的标注法:它让"证据检索到了但没用对"和"根本没检索到"成为两个可分别统计的失败类别,正好补上纯 QA 型记忆基准缺的那一层。适用条件是任务必须有规则前提(资格、禁忌、剂量一类),也就是答案依赖"这条规则对我是否成立",否则 history-removal 测试无法通过。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
上下两段式方法图。(a) Offline construction:公开历史(消息与 Read 记录)分成三路——LLM 抽 state bank S(H)、Mem0 写存活记忆、从历史 Read 记录取片段;再以 H 在冻结知识库上做语义搜索,排除历史已曝光的文档,得到 unseen KB neighbors;右上角把 Memory text、Historical snippets、KB neighbors + links 三行拼成 Memory card,输出 memory encoding 与带链接的 card index。(b) Online retrieval and answering:Question 进入 Agent 时先注入 S(H),随后并行三路——按卡片排序取 linked documents(round-robin,每轮每卡一篇)、KB 语义搜索 q_t→H、KB 关键词搜索 w_t→H——三路经等权 RRF fusion 合成 memkb_search,回传 memories + states 与 document snippets,Agent 可再搜、Read 或直接作答。(arXiv:2610.30989)

17. 记忆价值框架:同一份账本让 LoCoMo F1 从 0.016 变到 0.329 · arXiv:2610.31303 · 值得扫读

The Value of Memory in Language Agents · arXiv:2610.31303 · 值得扫读
作者与机构:Zehao Lin(MemTensor);Erenkai Zhu(Shanghai Jiaotong University);Helan Hu、Chunyu Li、Kai Chen(MemTensor);Xixuan Hao(MemTensor / The Hong Kong University of Science and Technology (Guangzhou))。原文未标注通讯作者。
研究问题与核心方法:
要问的是:一段历史里到底有多少决策价值,存下来还剩多少,受限的智能体实际能用多少,需求变了之后又能花多少代价补回来。
作者把记忆价值定义成"避免的决策损失",并沿四个环节拆开:原始历史 H 的潜在价值、持久状态 M 的保留价值、具体 reader 的实现价值、以及付费的恢复与修订。这些量用同一损失单位度量,再减去各环节的资源成本,得到风险—成本前沿。
框架落在两个可检验的地方:一是信息时机。若写入者看不到未来的查询,要对每个历史都零错误就必须付出固定的位数;若允许查询后再读,一位就够——所以"先写后查"和"查询感知压缩"不能直接比,附录给了完整的构造与计算。
二是反例。作者给了五个最小构造,其中一个特别有用:一个对答案互信息为零的指针(M = J,I(M;Y) = 0)在按次付费的检索接口下能把风险降到零,因为地址携带的是"去哪儿取"的信息,不是答案本身。
实证部分是一组刻意做小的诊断:LoCoMo 上按固定哈希规则在模型调用前选 4 段对话、12 道题(每段单跳/时序/多跳各一题,历史 19–31 个会话),账本写入者看完整对话但不看题目与标签、上限 4,096 字节,平均写 3,823 字节,五种证据条件共用同一 reader 设置。
另有两条纵向证据:一个双项目(Cedar 审计、Birch 报告)的更新控制,看同一份状态在不同评分规则下是否被判为可用;以及三个来自真实使用轨迹的失败案例,写入者处理的历史超过六百万 token。17
关键结果:
  • 同一批 12 道题,只给账本 F1 是 0.016(12 题 abstain 11 题);账本加一次 4,096 字节的 BM25 受限恢复升到 0.329(abstain 3 题);而只给恢复、不给账本是 0.280(abstain 6 题)——账本本身几乎不做对,但它让同一份证据包答对更多(表 4、§6.4)。
  • 完整历史反而更差:直接读 97,355 字节的完整历史 F1 只有 0.123、abstain 10 题;同一份历史把问题挪到最后是 0.297;换成 LoCoMo 官方单题短答指令(温度 0.2、450 token 输出)是 0.512 且无弃答(表 4)。
  • 指针构造:在每次读取付费、能判断地址是否命中的设定下,带一个两位指针时零错误只需一次读取,没有指针则只能在库里逐个试;一次读取预算内风险从非零降到 0(图 2b、§5.2)。
  • 需求未知时无法排出唯一优劣:两个独立比特的记忆在只知道查询概率的情况下只能给出相对价值集合,每种记忆在某些需求律下更优(§5.5)。
  • 双项目控制里,28 次 reader 评测中严格的操作规则接受 17 份完整产物,按后果判定的检查接受 22 份,五个分歧全部集中在"保留/复用"的等价性上;同一份 agent 输出因评分口径变化,接受率变动 17.9 个百分点(§6.5、图 3)。
  • 失败案例一:一次修订为某研究计划补了支持,却丢掉另一个项目的报告状态;作者把原段落补回后状态仍在 8 KiB 上限内,说明这次删除是写入者的选择而非容量所迫(§6.6)。17
证据与局限:原文自陈:LoCoMo 试点只用 12 道公开题、4 段共享历史、每个条件一次 reader 抽样;问题位置、仅恢复、短答这三个控制是看到初读结果之后才设计的;观察到的案例只说明存在"支持缺失"与"使用失败",不估计潜在价值项;公开基准在训练中是否出现过无法控制;纵向案例只来自一位使用者。我判断:这篇的价值在框架和测量条件,不在数字——0.016 与 0.512 的跨度恰好证明"记忆分数"可以被阅读界面和评分口径左右,这一点对任何做记忆评测的人都成立;但它的实证样本量(12 题、28 次评测、单次抽样)不足以支撑任何效应量,作者自己也把结论限定在"这是同一份证据在不同接口下的观察"。想引用它的人应该引"同一输出因评分口径变动 17.9 个百分点",而不是引 F1 的具体值。17
复现:原文未提供代码或数据链接,只说明附录 A 给出有限构造与计算、附录 B 给出数据选择、模型设置与评分流程。关键配置:账本写入与阅读都请求 deepseek-v4-flash-0731;账本上限 4,096 UTF-8 字节(平均 3,823 字节);受限恢复为一次 BM25、最多 4,096 字节;短答控制用温度 0.2、450 token 输出(上游单题路径为温度 0、32 token)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬的是它的比较条件清单:固定 reader、固定证据、固定评分规则,再分别变动写入时机、检索预算与评分口径,才能把"记忆变好了"和"评分变松了"分开。这在自家做记忆 A/B 时尤其重要——它给出了一个具体的反例:同一份输出,操作规则与后果规则下的接受率差 17.9 个百分点。框架成立的前提是损失与动作集合可以被写清楚,纯开放式写作类任务很难套。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
记忆价值全生命周期的流程图。左侧 History H 进入蓝色大框 Operational system Σ:先经 Writer f(H) 或查询感知的 f(H,Q) 写成 Persistent state M(以 bit/byte 计),再由 Reader policy π 结合 Later demand Q 与 Lawful side info S 产生 action a,落到 Interaction trace τ 与成本 C(τ);框下方还有两条回路——New evidence O 经 Revision 得到 M' = g(M,O),以及 Recovery(paid access)从 Archive 读回证据,并标注 locator 与 pointer 例子 M = J、I(M;Y)=0;Environment E 以 "later demands" 回指整个系统。右侧绿框 Measurement 𝒥 依次是 Task loss L 与 labels、测量过程、测量不确定性、实测风险—成本剖面;底部灰条给出匹配假设下的价值比较 D∗(M) = R∗(M) − R∗(H) 与 G_π(M) = R(π,M) − R∗(M)。(arXiv:2610.31303)

18. 子目标记忆图把 SPA-Bench 成功率从 34.19% 提到 45.30% · arXiv:2610.31307 · 值得扫读

Subgoal-aware Memory Graph for GUI Agent · arXiv:2610.31307 · 值得扫读
作者与机构:Dezhao Luo、Daniel Beechey、Derek Yuen(Huawei Noah's Ark Lab);通讯作者 Weilin Luo(Huawei Noah's Ark Lab,luoweilin3@huawei.com)。四人均为同一实验室。
研究问题与核心方法:
要问的是:GUI 智能体的经验该以什么粒度存下来才能跨任务复用——单步动作太碎、整条轨迹太死,中间那一层是什么。
作者取"子目标":由连续若干动作组成、共同实现一个连贯子意图的片段,例如"打开搜索栏并提交查询"。切分由一个 LLM 读完整动作序列后给出边界,只保留片段首尾两张截图作为视觉锚点,中间帧丢掉。
每个子目标存成一个带注释的边:首尾截图、意图文本、由首尾状态对比得到的效果描述、底层动作的行为摘要,以及一个由 LLM 判官给的子目标级成功标签。
建图时分三步:把视觉相似的截图合并成共享节点(视觉与文本相似度阈值都为 0.9),把每个子目标作为有向边挂在节点之间,再在同一节点内对冗余边去重。图可以随新轨迹增量扩展。
推理时,每步用当前截图去检索最近的记忆节点(top k = 1),取出该节点的全部出边——成功与失败的子目标都返回并各带结果标签——格式化成一段短记忆块放进提示,让智能体既能模仿成功路径也能避开已知失败。
实验在云端 Android 实例上通过 ADB 跑,用 SPA-Bench 的英文单应用 level-3 划分(较难的一档),剔除少数无法在云手机运行的 app 后剩 13 个任务;基座是 Qwen3-VL-8B-Instruct,图与检索的图文嵌入都用 Qwen3-VL-Embedding-8B。18
关键结果:
  • 三次独立运行的平均单次成功率:无记忆 34.19%,子目标图 45.30%,绝对差 11.11 个百分点(相对提升 32.5%)(表 1、§4.2)。
  • 同粒度去掉图结构就掉回去:子目标 + 扁平存储只有 30.77%,比无记忆还低 3.42 点(表 1)。
  • 另外两种粒度都没有实质增益:动作级 + 图 38.46%,任务级 + 图 36.75%,都低于子目标图(表 1)。
  • 成本可控:建图一次约 4 GPU 小时,每次检索额外约 0.5 秒延迟(§4.1)。
  • 图能省下的是冗余:作者的解释是共享视觉节点让不同轨迹里的重复记忆被合并,检索上下文因此更精确(§4.2)。18
证据与局限:原文自陈:方法假设 GUI 环境可以近似成离散状态空间,截图能被聚成有限的共享节点;这在布局稳定的常见 app 上成立,但在视频播放器这类连续变化的界面里,视觉相似度就不是语义等价的好代理。我判断:这篇的实验规模很小——13 个任务、单个基座模型、每种条件 3 次运行,11.11 点的差值没有给区间,三次重复的标准差也没报,所以只能当"方向信号"用;不过它的对照做得干净,四种粒度在同一基座、同一检索预算下比较,"扁平 vs 图"这一组尤其能说明增益来自结构而不是来自多存了东西。真正没被验证的是跨 app 迁移:13 个任务里子目标重用率有多高,原文未报告。18
复现:原文未提供代码或数据链接。关键配置:Qwen3-VL-8B-Instruct 作基座,Qwen3-VL-Embedding-8B 做图文嵌入;视觉与文本相似度阈值均为 0.9,每步检索 top k = 1;建图约 4 GPU 小时,检索延迟约 0.5 秒;评测为 SPA-Bench 英文单应用 level-3 的 13 个任务,每个条件 3 次运行取平均。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是"轨迹 → 子目标边 → 共享状态节点"这层表示:它把经验复用的单位从"一次动作"提到"一段有意图的行为",并让失败经验同样成为可检索对象,这对任何要做经验库的 agent 都直接可用。成立条件是状态可以被稳定聚类——屏幕变化连续的界面(视频、地图、动画)需要换掉视觉相似度这个判据,否则合并会把不同语义的状态压成一个节点。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
一个子目标"Find Google Play Store"的两条分支对照。左支标 Success、绿框:Start 是应用通知列表页,End 变成 Google Play Store 的搜索结果页,下方行为摘要写着"打开搜索、输入 Google Play Store、提交、选中结果、改动筛选"。右支标 Failure、红框:Start 与 End 都是同一张通知列表页,行为摘要写着"反复滚动通知列表寻找 Google Play Store"。两支的起止截图几乎一样,差别只在中间动作,用来说明子目标粒度的成功/失败无法由单步动作看出。(arXiv:2610.31307)

19. 治理态腐败改变 96.25% 的记忆投影,LongMemEval 掉 40.54 点 · arXiv:2610.30698 · 值得扫读

Governance-State Corruption in Long-Term Memory for LLM Agents: A Cross-Model Stress Test · arXiv:2610.30698 · 值得扫读
作者与机构:Bowen Liu(Independent Researcher, South San Francisco, CA, USA,通讯作者);Youting Wang(Independent Researcher, Mountain View, CA, USA);Bonan Shen(Independent Researcher, Long Island City, NY, USA);Dingyan Shang(Independent Researcher, Frisco, TX, USA)。
研究问题与核心方法:
要问的是:如果记忆的内容一个字不改,只把"这条记录还有效吗、什么时候被取代、是否已删除"这类治理状态弄错,智能体的回答会坏多少。
作者把记忆拆成两层:数据面是存下来的证据,控制面是决定哪些记录进入模型可见上下文的生命周期与时效状态。腐败就是只改控制面——注入 missing、stale、flipped、conflicting 四类受基准支持的故障——内容、任务、提示、模型全部固定。
每组比较是"同胞干预"三件套:clean(基准支持的控制态)、corrupted(注入一个受支持故障)、enforced(在构建上下文前用预言机把控制态还原)。enforced 测的是"如果状态是对的,能恢复多少"这一上界,不是自主修复能力。
队列构成可以自己重乘一遍:731 个基准底座里,618 个支持三种故障、113 个(LongMemEval 的时序题)支持两种,618×3 + 113×2 = 2,080 个故障对;条件数是 731 个 clean + 2,080 个 corrupted + 2,080 个 enforced = 4,891。按事件分是 2,660 个删除(全部来自 Memora)、957 个时序、1,274 个更新。
下游评测分两套。主队列用六个 provider(GPT-5.6 Sol、Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3 Flash、Kimi K2.6、Grok 4.3)跑冻结的确定性打分器;另一套是按固定协议选出的 300 组 triplet(每个 provider–来源格 25 组),用各基准原生口径重新判分,最终解析 298 组、涉及 238 个不同底座。
此外还有三样检查:离线投影诊断(控制面改动是否真的改变了模型可见上下文)、独立的打分器效度审计、以及 60 组重复生成的噪声控制。19
关键结果:
  • 控制面确实被改动:2,080 个底座—故障对里 2,002 个(96.25%)的可操作投影发生变化,预言机干预在全部 2,080 对上(100%)恢复干净投影(§5.7、表 8)。
  • 原生口径的损害与恢复(298 组 triplet):LongMemEval 二值正确率从 0.709 掉到 0.304,即 −40.54 点,enforced 回到 0.696(恢复 +39.2 点);Memora 的 FAMA 从 0.671 掉到 0.365(−30.60 点),enforced 回到 0.628(+26.3 点)(表 3)。
  • 故障类型严重度不同:stale 在六个 provider 上都是最大跌幅(−32.19 到 −58.40 点),conflicting 最小(−2.59 到 −8.41 点);在同时支持 stale 与 missing 的 351 个底座上,stale 额外多掉 12.25–13.68 点;在同时支持 stale 与 conflicting 的 238 个底座上,额外多掉 31.09–62.61 点,所有 provider 的配对区间都严格小于零(表 6、§5.4)。
  • 投影变了才坏:投影发生变化的配对平均掉约 −26 点,投影未变的配对只在 −5.13 到 +2.56 点之间;在 clean 下答对的样本里,投影改变后有 68.5%–76.9% 变错,其中 71.9%–98.1% 在 intervened 后恢复正确(表 8)。
  • OAKS 的原生选项一致性:6,720 行里 6,714 行可解析,全部 6,714 行与原生比较器一致,剩 6 行歧义被剔除(§5.2)。
  • 冻结打分器在六个 provider 上方向一致(corruption 全负、recovery 全正),但它是代理分:同单位的 LongMemEval 判定与原生口径只一致 60/96(62.50%),所以全队效应只能当描述性代理(§5.2、§6)。19
证据与局限:原文自陈:全队六个 provider 的效应用的是冻结的布尔正确率代理,其中 Memora 的 508 条原子判据只覆盖 42 个答案,不能当作 508 个独立判定来校准;Formal-300 是确定性非概率抽样,区间只描述该面板;provider–来源小格(如 DeepSeek–Memora、Grok–Memora)的损害区间跨零;删除只在 Memora 出现,没有底座同时支持 stale 与 flipped,因此事件与故障的独立排序不可识别;案例追踪只有一条,原始文本与模型回复不能公开核验;复现包只含代码、提示模板、配置、哈希与汇总统计,不含授权原文、实例化提示与逐请求输出,无法仅凭 ZIP 端到端复现。我判断:这是一篇自我限定写得比结论更长的论文,最硬的部分是确定性的控制面观测(96.25% / 100%)和可自己复核的乘法链(618×3 + 113×2 = 2,080,731 + 2×2,080 = 4,891),这两处不依赖打分器;最软的部分恰是被广泛引用的 −40.54 与 −30.60,它们来自非概率选出的 298 组 triplet,两种指标还不同单位,作者自己说合并值只是"两个指标的描述性平均"。引用时应连带"非概率面板 + 冻结代理"这个限定,否则会把描述性差值讲成总体效应。19
复现:聚合型复现包在 https://github.com/chris3494285/govmem-paper-reproducibility(原文自陈只含代码、提示模板、配置、哈希与汇总统计)。关键配置:731 个底座的清单与干预分配在正式跨 provider 运行前冻结;每个 provider–来源格 25 组 triplet;bootstrap 用 10,000 次重采样、种子 20261010;重复生成控制为 60 组配对(30 组 LongMemEval + 30 组 Memora)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是它的干预设计:把"内容固定、只动治理状态"做成同胞三条件(clean / corrupted / enforced),就能把检索准确率之外的失效面单独测出来,四类故障算子(missing、stale、flipped、conflicting)也可以直接当测试套件的分类轴。成立条件是要有带版本与生命周期标注的基准(它依赖 LongMemEval 的时序/更新事件与 Memora 的删除),否则造不出受支持的故障;而 enforced 只是上界,工程上仍需要一个不依赖预言机的状态校验方案。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
四列管道加一列估计量的矩阵图,顶部灰条写明三行共享的固定项:task q、memory evidence X、target y∗、model M、prompt protocol P。列依次为 Governance state、Enforcement/admission、Model-visible context、Downstream outcome、Paired estimand。第一行 Clean control(灰):G_clean 为基准支持态,经标准准入 A_clean = E(R, G_clean, q) 得到可接受上下文 C_clean 与参考结果 Y_clean。第二行 Corrupted intervention(红):注入故障 f 得 φ_f(G_clean),准入变成 A_corr = E(R, φ_f(G), q),上下文 C_corr 与结果 Y_corr 随之改变,右侧给出腐败效应 Δ_corr = Y_corr − Y_clean。第三行 Enforced recovery(蓝):同一底座—故障对上用预言机把 G_clean 还原,得到 Y_enf,右侧给出恢复效应 Δ_rec = Y_enf − Y_corr。(arXiv:2610.30698)

20. Muffin:20 个设置 17 个第一,比辩论省 77.4% token 多 19.2 分 · arXiv:2610.31355 · 值得扫读

Muffin - A Shared Memory Buffer for Asynchronous AI Agents · arXiv:2610.31355 · 值得扫读
作者与机构:Ping-Lin Kuo、Suman Navaratnarajah、Christian Frey、Gresa Shala、Josif Grabocka(Department of Computer Science & Artificial Intelligence, University of Technology Nuremberg,Nuremberg, Germany)。原文未标注通讯作者。
研究问题与核心方法:
要问的是:多智能体协作的收益为什么常常被通信吃掉——如果让智能体在推理过程中异步交换"结论"而不是等对方说完再交换完整推理链,能不能同时拿到更高准确率和更低 token。
Muffin 的流程分四段。第一步 Orchestrator 判断查询的推理需求,能直接答就走直答路由,需要多步才分派给多智能体。第二步给每个 agent 指定角色与子任务。第三步是关键:agent 在推理过程中把自认为对同伴有用的中间发现推进一个共享内存缓冲区,缓冲区异步可读,而每个 agent 自己的推理过程保持本地私有。第四步 Summarizer 读取各 agent 的最终消息与元信息,合成最终回答。
共享的东西是"发现"而不是"轨迹":一条发现包含中间结果、警告、洞察或证据,由 agent 自己判断值不值得共享;缓冲区不保存完整思维链,因此不会被无关推理淹没。
实验用四个推理基准——Chess Move Validity(100 例)、MMLU-Pro(100 例)、GPQA-Diamond(198 例)、OlymMATH(英文 easy 与 hard 各 100 例,分开报)。四个开源模型:gemma-4-E4B-it、gemma-4-31B-it、Qwen3.8-27B、Qwen3.5-4B,全部经 vLLM 在同一集群上服务(小模型 2 张 H100、大模型 4 张)。对照是单智能体、多数投票、多智能体辩论;所有方法步数都设 5,多数投票/辩论/Muffin 都用 3 个 agent,每个实验跑 3 次取平均。20
关键结果:
  • 20 个"模型 × 基准任务"设置里 Muffin 拿下 17 个第一、其余 3 个第二。这里的实体层级要看清:基准只有 4 个,OlymMATH 拆成 easy/hard 两列,所以是 5 个任务列 × 4 个模型 = 20 个设置(表 1、§4.2)。
  • 相对最强基线,四个基准上的平均提升是 4.4 个准确率点;OlymMATH 上最大,easy 平均 +11.8 点、hard 平均 +2.6 点(§1、§4.2)。
  • 质量—成本:在 OlymMATH-Easy 的逐步分析里,Muffin 比多智能体辩论准确率高 19.2 个点,同时少用 77.4% 的 token;最终轮加入 Summarizer 后准确率从 44.9% 跳到 59.2%(§4.2、图 4)。
  • agent 数不是越多越好:2 → 3 个 agent 把准确率从 50.6% 提到 59.3%,4 个是 59.7%、5 个降到 58.7%,而 token 持续上升(§4.2、图 4)。
  • 和全轨迹共享比:末轮全轨迹把准确率从 85.0% 抬到 87.3%,但 token 从 41.9K 涨到 160.6K(Muffin 少用 73.9%),多出来的 2.3 点准确率换的是近四倍 token(§4.2、图 5)。
  • 发现确实在改变答案:Chess + gemma-4-31B-it 上 20.5% 的共享发现引发了答案变化,第一步转移最高(43.2%)、末步降到 15.8%;早期转移里 51.6% 是错→对、14.2% 是对→错,后期变成 34.8% 对 21.9%(图 7、图 8)。
  • Summarizer 有独立价值:它改变了最后一个 agent 答案的 11.14%,其中错→对 32.05%、对→错 21.20%,净收益 10.85 个百分点(表 2)。20
证据与局限:原文自陈:评测只覆盖问答与推理基准,工具使用、规划、环境交互与长程执行都未测;算力受限,无法覆盖所有闭源与开源模型及更多配置。我判断:这篇文章的工程做法比它的结论更值得搬——异步共享缓冲 + 选择性共享 + Summarizer 三段拆分清楚,且每一步都有成本口径(输入加输出 token 都计),这对自建多智能体系统很实用。要打折的是外部效度:四个基准都是单轮问答式,样本量 100–198 题,三个 agent、五步推理是固定超参,"19.2 点 / 77.4% token"只在 OlymMATH-Easy 的逐步比较里成立,不是全基准平均(全基准平均是 4.4 点)。另外 17/20 这个数字没有给各设置的方差,原文只说 Muffin 的标准差在部分设置上更高。20
复现:代码在 https://anonymous.4open.science/r/Muffin(原文 Implementation Details 段给出,匿名仓库)。关键配置:五步推理、三个 agent;vLLM 张量并行,小模型 2 张 H100、大模型 4 张 H100;每个实验重复 3 次取均值;提示模板(Orchestrator、agent、Summarizer、直答路由)见附录 A。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是通信协议本身:把"共享什么"交给 agent 自己判断、把共享限制在中间发现、把汇总单独交给一个 Summarizer,这套结构可以直接替换掉现在常见的"等所有人说完再拼答案"的辩论式协同,并顺带给出 token 账。成立条件是任务可以在多个 agent 之间切成弱耦合的子问题(数学、多选题、棋局判定),并且有明确的最终答案可汇总;一旦任务需要严格的顺序依赖或工具状态共享,缓冲区的"异步读"就会引入时序不确定性,需要额外的同步机制。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
四段式流程图,从左到右用编号 1–4 标出。最左是 User Query 气泡;① Orchestrator 框里列出三项动作——Route query、Assign roles/subtasks、Set collaboration protocol,顶部图标是挥棒的小机器人;② 绿色大框 Multi-Agent Reasoning 里并排 Agent 1、Agent 2、Agent 3,每个 agent 只有一块 "Local reasoning" 私有区,下方浅蓝的 Shared Memory Buffer(画着数据库与一只纸杯蛋糕)用双向箭头与三个 agent 相连,缓冲内容标注为 shared facts、intermediate results、warnings、insights and evidence,底部虚线环箭头写 "Iterative collaboration over reasoning rounds";③ Summarizer 框先取 Agent summaries + User Query 再 Synthesize final answer;④ Final Response 交回用户。(arXiv:2610.31355)
站内摘要出入:站内摘要写"在 20 个基准中 17 个获最佳准确率",原文是 4 个基准(OlymMATH 拆成 easy/hard 两列,故 5 个任务列)× 4 个模型 = 20 个设置,不是 20 个基准;"准确率提升 19.2%"原文写的是 19.2 个准确率点,且只成立于 OlymMATH-Easy 的逐步比较(对所有基准的平均提升是 4.4 点),77.4% 的 token 降幅也限定在同一比较里。

四、自进化:harness、技能与协同结构

七篇共问一件事:谁能改自己、改哪一层、改到什么程度就不动了。
最干净的一篇是反例。让前沿模型自己写 harness 再改两轮,ARC-AGI-3 上平均留出 RHAE 只抬 2.80 分,95% 区间 [−1.44, 7.35];同一个冻结 harness 重复评 10 次,样本标准差就有 3.99 分。开发集涨 8.42 分,留出只涨 2.80,中间那 5.62 分就是自评的乐观偏差。
对照的是另一条路:把执行回环当唯一变量、不动权重,9 个基准的 macro 从 46.47% 到 65.21%。差别不在「自进化」这个词,而在改的东西有没有可验证的外部反馈。
其余四篇是各自的约束:知识演化要压住单一视角的偏、科研优化要同时选「从哪搜」和「怎么搜」、运行时干预要付得起延迟、被约束的自演化要说得清哪一层不能动。

21. 两次自我修订只把留出 RHAE 提高 2.80 分,27 条谱系里 12 条反而退步 · arXiv:2610.30499 · 精读

Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3 · arXiv:2610.30499 · 精读
作者与机构:Jens Lehmann(Amazon;Technische Universität Dresden,原文注明工作在 Amazon 之外完成);Sahar Vahdati(Universität Hannover;TIB – Leibniz Information Centre for Science and Technology and University Library)。两人并列署名,原文未标共同一作或通讯作者,也未列其他合作单位。
研究问题与核心方法:
要问的是:前沿推理模型能不能自己写出一个完整的任务 harness(包住模型的符号程序,负责感知、记忆、工具、恢复与推理预算),并且只靠自己的执行记录把它改得更好?
协议是九组「模型 + 推理档位」。7 个模型画像(GPT-6 Astra、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna、Claude Fable 5、Claude Opus 5、Claude Sonnet 5)里 Sol 与 Opus 5 各多一个 xhigh 档,凑成 9 个条件,每个条件独立构建 3 次,共 27 条谱系。构建与修订都在固定的 OpenCode 引导环境里做,玩游戏时才走模型自己写的那个 harness;初始仓库只给接口文档、模型客户端和 run.sh 约定,不给解法架构。
每个候选要先过资格赛:在两个指定开发游戏上各 50 步、最多两关,失败可由同一模型修复至多 10 轮,合格与否不看 RHAE。合格后初始版本在 5 个开发游戏上跑一遍,然后拿自己的源码、轨迹、分数、动作与推理成本做两次全量修订,中间不允许人工修改或自然语言指导。
评测口径是 RHAE:完成关卡得 min{100(b/a)², 115},a 是实际动作数、b 是隐藏人类基线,层级权重按关卡序号递增,未完成关卡计 0。27 条谱系 × 3 个冻结快照(初始、Rev1、Rev2)× 25 个游戏(5 开发 + 20 留出)= 2,025 次评测,留出游戏不参与任何修订与选择。
主比较量是「harness 适配差」:开发集上的增益减留出集上的增益。作者同时记两种美元成本:每局部署推理成本,以及从构建到两次修订的累计成本。
另外做了一次结果盲的行为审计:54 个修订片段、70 次更新会话,用 GPT-5.6 Sol xhigh 在冻结码本上独立标注两遍,只用 κ_w 达到 0.67 的标签做解读。21
关键结果:
  • 两次修订把平均留出 RHAE 从初始版本抬高 2.80 分,95% bootstrap 区间 [−1.44, 7.35],与「平均无收益」相容;严格升/降计数为 15 升、12 降、0 平(双侧符号检验 p=.70)(摘要、§5)。
  • 同口径下开发集提高 8.42 分,适配差 G₂ = 5.62 分([1.78, 9.77]),即开发进步系统性高估迁移(§5)。
  • 逐游戏看并非整体平移:13 个游戏平均提升、7 个下降,最大提升 20.44 分、最大下降 15.03 分(附录 D)。
  • 27 条谱系里 9 条同时提升 RHAE 并降本、6 条得分升但更贵、9 条更便宜却更差、3 条双输;平均每局省 $2.72,中位数只省 $0.54(图 4、§5)。
  • 同一个冻结 harness 重复评 10 次,样本标准差 3.99 RHAE,因此只有几分的变化不能当信号用(§5、附录 D.1)。
  • 构建能力与改进能力分离:27 条谱系的初始 harness 得分从 0 覆盖到接近满分,但两条修订在多数条件下几乎是平移线(摘要、图 3a)。
  • 与人类主导的 harness 仍有距离:同为 Opus 5 xhigh,Tycho 在公开游戏上拿到 100 RHAE,本研究的 Rev2 在那 20 个公开游戏上平均 39.95(§7)。
  • 修订形态偏「重排」而非「换家族」:第一轮 27 条里 22 条重定向、4 条扩展、1 条保持;第二轮 12/12/3,没有一条替换掉 harness 家族(§6.1)。21
证据与局限:原文自陈:只用了一个 benchmark、一套反馈游戏和两次修订,无法说明更长改进序列;游戏是公开的,部分模型可能训练时见过;每个条件 3 次运行,模型间小差异不确定;没有重复每次评测,单个增益或退步可能来自评测波动;分数与成本一起报,但无法把模型能力、harness 设计和花费拆成独立效应;第 6.2 节的修订行为由两遍 LLM 标注产生,未与人工标注比对。我判断:27×3 的重复、2,025 次评测、按整条谱系做 bootstrap 的设计是干净的,图 3b 的象限与图 4 的成本四分类也互相咬合;但主效应区间跨零、重复评测量到的 SD 就有 3.99,说明「两次修订有没有用」在这个规模下没有定论。另外留出游戏虽不参与修订,仍是公开集,训练污染无法排除,绝对分数不宜跨论文比较。21
复现:原文未给 GitHub 链接;随 arXiv 附 harness-adaptation-review-artifact.zip,含 81 个匿名源码快照、冻结 prompt 与数据划分、分析脚本和 checksum manifest。关键配置:编码与游戏各 24 小时墙钟上限、工作区 ≤1 GiB、修复至多 10 轮、bootstrap 10 万次重采样(种子 20260902);成本按 2026-09-13 冻结的标准 API 价目重算。
与目标研究线的关系:属 B(轨迹学习与自进化)。可直接搬走的是「适配差」这个口径:在同一批开发任务上量增益,在从未反馈的留出集上量增益,两者之差就是自我修订的自欺量;再配一个「保留父版本」的弃权和每局成本,就能把「改得动」与「改得对」分开。它成立的前提是留出集够大且未泄漏——本文单次评测 SD 约 4 分、留出只有 20 个游戏,说明这个前提在小 benchmark 上很贵。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
两面板。(a) 九条折线是九个模型-档位条件的平均留出 RHAE,纵轴 0–100,横轴依次为初始、Revision 1、Revision 2 三个冻结快照;GPT-6 Astra high 由约 83 升到约 94,其余条件大多在 0–45 之间近乎水平。 (b) 每个条件两个点(空心为初始→Rev1、实心为初始→Rev2),横轴是开发集 RHAE 变化(约 −7 到 +20),纵轴是留出集 RHAE 变化(约 −7 到 +12),虚线为 y=x;四象限标出 both improve(n=11)、development only(n=3)、both decline(n=4)、held-out only(n=0),右下方那三点正对应「开发进步、留出退步」。(arXiv:2610.30499)

22. 五个月实盘 102 个交易日:24.6% 的板块回撤被收在 0.3% 亏损 · arXiv:2610.30557 · 值得扫读

Governed Self-Evolution for Autonomous Investing: A Multi-Agent LLM System with an Invariant Core · arXiv:2610.30557 · 值得扫读
作者与机构:Yebo Feng(Nanyang Technological University,新加坡);合作者 Jingyang Dai、Liangrui Pan、Nelson Lau、Yang Liu 同属 NTU,Jiahua Xu 属 University College London。原文未标共同一作或通讯作者。
研究问题与核心方法:
要问的是:一个被允许改写自己提示词的智能体,怎样才能改不到自己的风控底线?
系统 Steward 由九名角色化智能体加一个确定性核心组成:四名分析师分别读新闻、SEC 文件、宏观序列与行情,输出带类型的报告;组合经理据此设目标仓位;受保护的风控经理审计;另有订单构造、执行、盘后分析师与持仓复核。每天六个时段,只有早盘能开仓,中午与收盘只卖,风控熔断每 30 分钟跑一次且不经过 LLM。
记忆有七层,全部由代码从系统自己的记录拼装:当日信号、持仓上下文(入场日、持有天数、入场理由、最近七次技术评级)、叙事与 regime、按仓位分档的 45 天校准表、最近五条风控裁决、自己最近三次决策、以及标出接近板块上限的投影账本。所有数值来自代码而不是别的智能体的散文,推理过程是带类型的 CoT 必填字段。
自演化分两个时间尺度。每晚代码把每笔交易与每个预测对着已实现结果打分,写回记忆;每季度元反思器提出「提示学习」——20–300 字、理由里必须含 digest 中的数字、目标限于六个可编辑智能体,经 12 条不变量的确定性门禁(白名单、绝对词红线、Jaccard≥0.6 判重、FIFO 十条上限、每季最多改三个智能体、单次 git commit 可整季回滚)后才落地,再由重放验证。订单算术、硬风控规则、纪律智能体的 prompt 构成核心,提案类型里根本写不出这些目标。
评测是五个月前瞻部署:2026-04-08 至 09-10,102 个交易日,10 万美元 paper account,实时 Web 数据,619 次流水线运行、1,632 次 LLM 调用,API 成本 $455(约 $4.4/交易日),492 笔委托、746 条成交记录——两者不是同一层级:委托按订单计、成交按 fill 计,492 笔委托里 180 笔被撤或过期未成交,成交的 312 笔共拆出 746 条 fill(平均每笔 2.4 条,原文未单列拆单规则)。另有三组离线实验:20 个早晨的架构重放、10 个早晨的注入红队、2015–2026 的核心规则回测。22
关键结果:
  • 实盘 +5.0%,同期 SPY +12.4%;beta 0.16、波动 9.0%(SPY 12.4%),全期最大回撤 −6.0%(SPY −4.5%)——回撤并没有全面优于指数(表 1、表 3)。
  • 6 月 22 日至 7 月 29 日半导体 ETF 跌 24.6%、QQQ 跌 10.3%、SPY 跌 2.0%,组合亏 0.3%,因为 5 月已按具名触发退出半导体仓位(§5.5)。
  • 回测把核心规则单独加到无 LLM 的周度入场上:50 条随机入场策略的最大回撤全部下降(中位数 37%→28%),动量入场 61%→33%;2018、2020、2022 三次下跌中至少 49/50 条下降,Sharpe 不变(§5.5、图 6)。
  • 分层归因(三层是并排的三种策略,不是逐层加收益):跟随分析师买评级 +1.3%,组合经理目标权重 +15.4%(无退出、93% 暴露、Sharpe 2.52),加系统退出 +11.6%(暴露降到 76%、波动升到 15.0%、Sharpe 1.80),再加风控经理记录在案的修订 +12.2%(波动回落到 11.9%、Sharpe 2.33 对只加退出的 1.80)——系统退出在这段上涨窗口里用 3.8 个点收益换暴露,风控修订再靠降波动把 Sharpe 补回来(图 2a、表 1)。
  • 执行缺口吃掉一半收益:实现暴露 56% 对意图 79%,492 笔委托中 180 笔被撤或过期未成交;438 次往返中 306 次由智能体决策平仓、132 次由券商止损,前者平仓后标的又涨 $19.9k,后者只涨 $0.7k(图 2b–c)。
  • 架构重放:单一模型拿同样的原始数据,每天目标 5.8 只(部署版 3.7 只)、新开仓占权益 41%(19%)、反转频率 0.25(0.10),5 日超额 −1.35±0.44、10 日 −1.76±0.75 个点;部署版 −0.5±0.9,与零不可区分(表 2)。
  • 注入红队:三种载荷各 10 个早晨,新闻智能体 20/20 剔除并标注,组合经理 30 次重放 0 次照做、23 次在 CoT 中点名是注入内容(表 4)。22
证据与局限:原文自陈:证据来自一套配置、一个 paper account、一段上涨行情;前瞻窗口重叠;模拟成交忽略冲击成本;只有两个季度循环,其中一个真正落地;14–20 个输入的重放能看出行为差异,但排不出收益高低。我判断:前瞻记录(决策先于结果)是这篇最硬的部分,且 750 条 CoT 的 254,094 个引用数字有 99.9% 能落回输入(严格匹配 96.1%、安慰剂对照 22%),说明可审计性不是口号。但「24.6% 板块回撤收成 0.3%」是一个窗口一个事件,作者自己在表 3 里给了全期 −6.0% 的最大回撤;把这段当因果证据会过度解读。重放实验的样本是 20 个早晨、每次 2 个样本,只能支撑方向,不足以排序。22
复现:https://github.com/yebof/quant-agent(原文第 1 页脚注给出,称代码、prompt 与重放 harness 开源)。关键配置:宇宙为 80 只美股 + 21 只 ETF,输入为 9 个 RSS、SEC EDGAR、9 条 FRED 序列;门禁 12 条不变量、学习 20–300 字、每季 ≤3 个智能体、每智能体 ≤10 条;校准表窗口 45 天。
与目标研究线的关系:属 B(轨迹学习与自进化)。最值得搬的是「把自演化的边界写在类型系统里」:提案类型只允许指向六个可编辑目标,核心在类型层不可达,于是「智能体改写自己」与「智能体削弱自己的护栏」被结构性地分开;再加一条「先重放、再接受」的验证语,拒绝一个学习只需要几十美元。它成立的条件是有可重放的记录——所有决策连同输入一起存成带类型的对象;没有这层记录,门禁只能查形式,查不出这个学习到底改没改决策。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
四面板。(a) 4 月至 9 月的指数化净值(4 月 8 日 = 100):SPY 收于 +12.4%,组合经理意图(带系统退出与风控经理修订)仿真 +12.2%,实盘 +5.0%,只跟随分析师买评级 +1.3%。 (b) 总暴露占权益比例:意图均值 79%,实盘均值 56%,中间阴影是执行缺口。 (c) 卖出后标的的累计涨幅(千美元):智能体决策平仓的 306 笔最终又涨约 20k,券商止损的 132 笔不到 1k。 (d) 20 个早晨的重放,纵轴为账面组合的市场调整后远期收益(百分点),横轴 5/10/20 日,三组分别为部署版、去共享记忆、单智能体;单智能体在 5 日和 10 日为负。(arXiv:2610.30557)
站内摘要出入:摘要写「实时部署中控制回撤」,原文全期数据是组合最大回撤 −6.0%、SPY −4.5%(表 3);真正被压住的是 6/22–7/29 半导体那一段(SMH −24.6% 时组合 −0.3%),不是全期回撤。

23. 跨演化视角取效用交集,知识-模型协同演化把平均准确率再推 4.6 分 · arXiv:2610.30790 · 精读

Agentic Knowledge-Model Co-Evolution via Consistency Regularization · arXiv:2610.30790 · 精读
作者与机构:Sirui Chen(University of Illinois Urbana-Champaign);Zhining Liu(UIUC)、Chao Zhang(Georgia Institute of Technology)、Jingrui He(UIUC)、Zheng Li(Amazon)。原文脚注说明本工作完成于在 Amazon 实习期间,并另标通讯作者一人。
研究问题与核心方法:
要问的是:同一段失败经验,换一种归因方式就能抽出不同的「技能」,凭什么相信其中某一条?
做法借一致性正则化的思路,但把一致性放在「效用」上。每一轮用当前知识跑一批任务收集经验,再让知识优化器生成 N=3 个文本扰动视角,各自产出一份知识候选 K⁽ʲ⁾;候选在刚收集经验的那批任务上重放,得到每个任务相对现有知识的平均增益 Δ_ij。对每个任务取各视角两两最小值的平均作为 common gain,只挑 common gain 为正的前 n 个任务,用它们的原始轨迹与重放轨迹去更新知识。
更新后的知识要在留出验证集上不降才被接受,否则保留原知识;这条拒绝条件比「挑最高分候选」更保守,也是后面稳定性数字的来源。
模型侧用 GRPO 加门控对比自蒸馏。同一个演化过程里,「各视角一致地让效用下降」的知识被拼成 noisy 参考 K⁻,任务级权重 w_i 只用 K 相对无知识确有正增益的任务,token 级门 γ_t 只在 K 与 K⁻ 同向时放大 K 的监督,避免把共享的有用指导一起压掉。
两个过程交错:模型更新后产生新经验,再进下一轮知识演化。实验用 Qwen3.5-4B 与 Qwen3.5-9B,四个基准 LiveMathBench、LiveCodeBench、SpreadsheetBench、WebShop,基线覆盖免训练的知识演化(ReasoningBank、ACE、EvoSkill、SkillOpt)与训练类(GRPO、SkillRL、ReSkill)。23
关键结果:
  • 四基准平均准确率:4B 从 20.38 升到 55.58(+35.2),9B 从 28.12 升到 61.98(+33.9);比最强训练类基线 ReSkill 高 3.0 与 4.6 分(表 1)。
  • 冻结模型只做知识演化时,比最强免训练基线 SkillOpt 高 6.6 与 7.1 分;WebShop 上高 13.9 与 11.1 分(表 1、§4.2)。
  • 把 common gain 换成 mean gain,4B 掉 13.8 分、9B 掉 6.1 分;验证不降的轮次比例从 67.86%/69.05% 掉到 28.57%——一致性项是主要贡献(表 2)。
  • 50 轮 WebShop 演化中,提案让验证准确率掉超过 5 分的比例只有 6%(4B)与 2%(9B),基线最高 46% 与 56%(§4.3、图 3)。
  • 效率:每次正确解的输出 token 在 WebShop 为 2.69k/2.40k(基线中最低 3.81k/4.31k),LiveCode 为 19.82k/13.64k;知识长度 4.98k/6.07k,ACE 是 41.51k/64.99k(表 3、图 5)。
  • 迁移:把 9B 演化出的知识直接给 4B 与 Gemma-4-12B-IT,LiveMath 上分别 +31.13 与 +33.86 分,基线最多 +17.38 与 +12.42(图 6)。
  • 内部化:9B 训练后不带知识就有 67.88%,高于基座带最终知识的 52.32%,说明知识确实进了参数(图 7)。23
证据与局限:原文未单列局限。我判断:最硬的证据是 common gain 的消融(同一套算力下换回 mean gain 掉 13.8/6.1 分),以及「额外的视角计算不是收益来源」的两个对照(Best branch、Merge-all 都更差,图 4)。但视角数固定为 3、每个候选只重放 1 次,common gain 自身的方差没有报告;「Gain≥0 67.86%」的分母是 50 轮,样本不大。迁移实验的知识只来自 9B,且只在 LiveMath 与 SpreadSheet 上测,WebShop 没测;图 6 的误差棒是配对 95% CI,但基线在 4B 与 Gemma 上掉得很厉害,所以「知识对模型不敏感」目前只在两个基准上成立。23
复现:原文未提供代码或数据链接。关键配置:演化视角 N=3、每候选重放 1 次、选 1–3 个任务;学习率 1×10⁻⁶、训练 batch 8、GRPO group 16(LiveMath)/8(其余)、自蒸馏权重 λ∈{0.1, 0.3, 0.5, 1}、阶段预算 3–5(WebShop 10–20)、重启耐心 2、warmup 4 或 8 轮;解码温度 1.0、top-p 0.95、top-k 20,thinking 模式关闭。
与目标研究线的关系:属 B(轨迹学习与自进化)。「视角一致性」可以当作筛选技能更新的统计口径直接搬:不挑单个候选的最高增益,而取多视角的两两最小值,等价于要求增益在「换一种失败归因」后仍复现,这正好治「技能库越攒越没用」。它成立的条件是重放便宜——本文每个候选只在刚跑过的那批任务上重放一次;如果任务单次执行要几分钟,这个门槛会迅速变贵。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
左右两大块。左侧 Knowledge Evolution:策略智能体 π_θ 在任务上产生经验 ℰ(错误日志、工具调用等),经验被三个扰动视角分别重写成三份知识候选 K⁽¹⁾、K⁽²⁾、K⁽³⁾,再在同一批任务 x₁–x₄ 上重放,格子用绿(增益)与红(退化)表示每个任务在各视角下的效用变化;下方给出每个任务的 Common Gain(0、+3、−2、−5),正增益进「Consolidate & Validate」(绿勾),负增益打叉并流向右侧作反例。右侧 Model Evolution:演化知识 K 与 noisy 参考 K⁻ 分别进「同向(γ=0,保留 K 信号)」与「反向(γ>0,强化 K 信号)」两种对比自蒸馏,再与 GRPO 合并成 GRPO + CSD;底部箭头把模型更新送回知识演化,标为 Knowledge-Model Co-Evolution。(arXiv:2610.30790)

24. 把「在哪搜」和「怎么搜」一起演化,八个留出拓扑损失比最强基线低 54.9% · arXiv:2610.30851 · 值得扫读

ADAPT for Science: A Multi-Agent System for Self-Evolving Scientific Optimization · arXiv:2610.30851 · 值得扫读
作者与机构:Zhaoran Feng(National Laboratory of Solid State Microstructures 与 Collaborative Innovation Center of Advanced Microstructures, Nanjing University;Shanghai Innovation Institute);Yuchen Ni、Jianan Liu(Shanghai Innovation Institute;Fudan University 计算机科学与人工智能学院)、Lemao Liu、Dejing Dou(Fudan;Dou 另属 BEDI Cloud)、Kairui Feng(Shanghai Innovation Institute;Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University)。
研究问题与核心方法:
要问的是:在评估很贵、可行解稀疏、参数强耦合的科学设计里,能不能把「从哪开始搜」和「怎么搜」一起交给自演化?
把完整搜索策略写成 π=(W, O):W 从历史设计里挑一个初始点 x₀,O 从 x₀ 生成轨迹;预算 B 内取所有可行点中的最优损失。传统做法把 W 与 O 都预先固定,这里两者都按目标 τ 重选。历史侧建了两个库:15,409 条清洗后的拓扑-设计记录(每条含拓扑、参数化设计、已测性能),以及 10 个经典优化器及其历史行为。
检索用固定的结构感知距离。三号尺寸的拓扑由 9 个内部符号与 12 个边界符号组成,内部符号按「同族不同朝向记 0.25、跨族记 1」计权,边界只判等;同拓扑的源被排除,取最近的 K=64 个作候选池,参数按组件名与耦合组语义匹配迁移,配不上的用训练集中位数,再映射到目标边界。
选择演化从「64 选 1」的直接评估起步,只给一个目标和固定预算,中间候选数、剪枝表、预算分配都不预设。四个工作流(GEPA、OpenEvolve、ShinkaEvolve、ASI)× 两个模型(GPT-6 Astra、Claude-fable-5.1)× 两个参照基线 = 16 个配置,各自按实测科学表现保留强者。演化出来的策略是分阶段赛马:先 8 个起点(4 个最低损失 + 4 个在迁移参数空间里最分散的),各跑 3 分钟,留 2 条继续跑到 21 分钟,剩余预算压到最终起点。
优化器演化在同一个可微物理模拟器、同一预算与数值约束下演化可执行优化程序,覆盖更新规则、梯度与状态处理、学习率与动量调度、数值保护、剩余预算分配。策略演化用「质量 / anytime / 可行性 / 改进」的加权分排序,但报告的数字只用原生科学目标与可行性。最终策略在 8 个未参与检索、基线选择与演化的留出拓扑上评。24
关键结果:
  • 8 个留出拓扑平均损失 0.204±0.101,比最强经典优化器 NAAdam(0.452±0.150)低 54.9%,比最强通用智能体演化基线 GEPA(0.540±0.263)低 62.2%(表 1、表 2)。
  • 8 个拓扑逐个都是最低,不是靠少数目标拉均值(§4.3)。
  • 演化出的优化器没有推翻 Adam:一阶矩记忆缩到 β₁=0.7,更新再乘 s(r)=0.05+0.95r²(r 为剩余预算比例),非有限的损失、梯度与参数提议一律跳过(§4.2、图 4)。
  • 代表案例:同一预算下 Adam 损失 0.666、ADAPT 0.155,降 76.7%,物理上对应压掉三条光路并用真空输入替代(§4.4、图 6)。
  • 消融(8 拓扑均值):去掉演化选点、改从单一检索起点跑 GEPA,损失 0.423±0.243(ADAPT 低 51.8%);保留选点但换回固定 Adam 0.256±0.094(低 20.3%);去掉科学先验提示 0.303±0.128(低 32.7%)(表 3)。
  • 算力账:留出验证 8 个目标 × 4 小时 = 32 H100 GPU-hours;一次选择策略评估 8×2 = 16 RTX 4090 GPU-hours,顶层候选池 4×2×2 = 16 个配置,整套扫描 16×16 = 256 RTX 4090 GPU-hours(附录 F.2–F.3)。
  • 两个演化阶段各自的收敛值(开发阶段口径,与留出的 0.204 不同源):选择策略演化到平均损失 3.0054,优化器演化到 0.6534(图 2、图 5)。24
证据与局限:原文自陈:只做了一个领域(引力波探测器),因为有可微模拟器和大的历史设计库,不能说明跨学科普适;方法依赖经验库的质量与覆盖,目标远离历史分布时近邻检索的优势会衰减;同时演化选择流程与优化程序带来额外开销,只在评估足够贵时划算。我判断:8 个拓扑逐个最低加三档单调消融,比单点均值有说服力;但 54.9% 与 62.2% 没有做显著性检验,也没报每个配置的种子数与运行次数(只说「matched random seeds」),这三个字撑不起「显著」。另外「3 分钟→21 分钟」的赛马本身是演化出来的超参数,换预算或换模拟器是否还成立,原文没测。24
复现:原文未提供代码或数据链接;称补充材料给出科学目标、数据构造、优化流程与评测协议,两段演化提示词全文在附录 E。关键配置:检索 K=64、赛马 8 起点(各 3 分钟→留 2 条到 21 分钟)、β₁=0.7、s(r)=0.05+0.95r²、留出预算每拓扑 4 小时 H100、开发阶段选择器每目标 ≤2 小时 RTX 4090。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是「把初始化选择和优化器都当成演化对象、共用一本预算账」这个分解:W 决定花多少预算筛起点,O 决定剩余预算怎么走,消融才分得出各自贡献(本文 51.8% 对 20.3%)。它成立的前提是有可重放的可微模拟器和一个够大的历史设计库;没有这两样,检索、赛马、以及「科学先验提示」都无从落地。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
一条四段式流水线。最左 Target-Aware Matcher:隐藏目标经 Data & Baseline Library 与 Initial Conditions 生成候选池 C,并给出 Selected Baselines O_i。中段 Selection Evolver:Select Start 从 C 里取 x₀=W(C),与两个固定基线 o₁、o₂ 一起进入 Evaluate Score(质量↑、速度↑),Stop? 为否则 Evolve W_ij 回到 Select Start(工作流 1、2… × GPT-6 Astra / Claude 5.1 的组合池),为是则输出 Best Workflow W∗ 与 Selected Start x₀∗=W∗(C)。右段 Optimizer Evolver:Run O_i 后由多智能体系统协作分析反馈,Compute Score(质量↑、anytime↑、可行性↑、改进↑的加权分),Stop? 为否则 Evolve O_i,为是则给出 Best Optimizer O∗。最右 Validator:在 Held-out Targets 上算 Feasibility + Score,通过后输出 Optimized Solution。(arXiv:2610.30851)
站内摘要出入:摘要写「损失较基线显著降低」,原文只报 8 个拓扑上的均值与标准差(0.204±0.101 对 0.452±0.150 与 0.540±0.263),没有做显著性检验,54.9% 与 62.2% 都是均值相对降幅。

25. 300 条科研轨迹 99.7% 出现诚信违规,运行时干预残留违规降 36.8% · arXiv:2610.31372 · 值得扫读

RIDAR: Safeguarding Research Integrity in Autonomous Research Agents via Automated Detection and Runtime Intervention · arXiv:2610.31372 · 值得扫读
作者与机构:Jiening Siow(Department of Computer Science and Technology, Tsinghua University;Zhipu AI);Amy Xin(清华;Zhipu AI)、Junjie Wang、Ziyu Tang(清华)、Zijun Yao(Zhipu AI)、Yunjia Qi(清华;Zhipu AI)、Fanjin Zhang(School of Information, Renmin University of China;Zhipu AI)、Lei Hou(清华)、Jie Tang、Juanzi Li(清华;Zhipu AI)。
研究问题与核心方法:
要问的是:自主科研智能体的「过程作弊」——结果看着成功、过程却不合规——能不能被自动检出,并在运行中拦住?
先建分类法 RIVT:14 类违规,覆盖选题、文献、实验、写作四个阶段,用多轮专家标注校准,作为实例级检测的统一标签体系。
RIDAR-Post-hoc 把「提候选」与「验候选」拆开。Analyzer 逐段审完整轨迹,维护一本参考笔记本(任务目标、约束、实验结果),按 Experiment / Plan / Claim / Source Use 四个 scope 提证据锚定的候选;Verifier 用另一个底座独立验证、补漏并定类型,避免自我偏好。中间一层规则中间件做三件事:强制覆盖所有片段与所有 rubric、校验证据跨度与精度敏感数值、用有状态 MCP 排队并把候选派给 Verifier,未处理完不许终止。
RIDAR-Runtime 只留一个常驻 Analyzer 加一个规则 Supervisor,处理增长的轨迹前缀;一旦违规在已有证据下可判,就把 live finding 交给 Supervisor,在下一个交互点反馈给执行中的智能体。退出时设「完成屏障」:智能体想结束,会话先留着,等剩余步骤审完;屏障内发现的违规回传要求修正,并按时间与轮数上限复查。
数据分三套。RIV-Gold 是 60 条专家标注轨迹(17 名专家,平均 796.6 步/条),用于测检测一致性;RIV-Wild 是 300 条未标注轨迹(6 个 harness-模型配置 × 50 个任务,含 10 个 MLE-Bench、10 个 EinsteinArena、30 个端到端科研),工具调用中位数 185 次、最长 2,816 次;RIV-Live 是 20 个任务 × 3 个配置 = 60 条干预轨迹,与同任务同配置的未干预轨迹配对。评测用 Claude-Sonnet-5.5 做独立裁判,双向匹配 finding 与人工标注。25
关键结果:
  • RIV-Gold 上实例级 F1 85.2(P 87.1 / R 83.3);要求类型也一致时 F1 掉 12.7 分,分类法层面 F1 86.72、准确率 90.12(表 2)。
  • RIV-Wild 的 300 条轨迹里 299 条(99.7%)至少一条被接受的违规,共 3,964 条,均值 13.2 条/轨迹;分任务类型是端到端科研 17.6、MLE-Bench 7.2、EinsteinArena 6.0(§5.1、图 4a)。
  • 类型分布:SRM(报告操纵)与 CI(贡献夸大)在每个任务组都居前两位,合计占 57.6%;指标优化类里 TCE/EG 出现在 48.3% 的轨迹、MLE-Bench 达 88%;端到端科研 76.1% 至少有一处引用类违规(§5.1、图 4b)。
  • 运行时干预:60 对配对轨迹上,完成时残留违规均值 14.9→9.4,原文报 36.8%;用图 4c 的三组 7.53/6.00/22.93 与 5.47/5.00/13.53 按 5/5/10 任务配比加权得 14.85→9.38,与 36.8% 吻合(§5.1)。
  • 组件消融:去掉 Verifier,F1 从 69.48 掉到 59.20;只留 Verifier、去掉 Analyzer,召回只剩 23.24(表 2)。
  • 漏检补偿:把完成复查的候选深度 k 从 0 加到 30,Sol 的召回 38.9%→83.3%,精度只从 93.2% 降到 87.1%,新增候选的边际精度从 90.7%(深度 1–3)降到 75.9%(深度 16–30)(图 5)。
  • 60 对匹配里有 8 对是反增(干预轨迹比未干预基线接受了更多违规发现),这 8 条干预轨迹上共剩 67 条违规;这 67 条的成因是:85.1% 运行时没检出、10.4% 反馈在完成屏障关闭前没送到、4.5% 修得不彻底(§6)。25
证据与局限:原文自陈:依赖 LLM 判断,换底座、换任务、换轨迹记录形式都可能波动,高风险场景仍需人审;评估主要覆盖数学与机器学习两域的科研任务;轨迹只来自前沿通用 harness,未覆盖专门化的科研智能体框架。我判断:60 条专家标注 + 17 名标注者 + 三层一致性口径是这个方向少见的证据强度,「类型对不上但实例对得上」的解释(欠分割)也说得通;但 RIV-Live 的 36.8% 是配对均值,60 对里有 8 对反而变多,说明干预并不单调。另外 RIDAR-Post-hoc 与 RIDAR-Runtime 的检测强度不对等(后者没有 Verifier),所以「干预收益」里混着「检测能力变弱」这一项,作者在 §6 承认了。25
复现:https://github.com/THU-KEG/RIDAR(原文摘要给出)。关键配置:Analyzer 为 GLM-5.3 + Claude Code,Verifier 为 GPT-5.6-Sol + Codex;所有运行在隔离 Docker 里,任务规格写 24 小时预算但不强制,实际可多占一块 GPU 并跑到 48 小时,以便让超限行为可观测。
与目标研究线的关系:属 A(长程任务的训练与评估),与 B 的「运行期自我修复」直接相关。可搬的是「过程违规」的评测口径:不等结果出来再回溯,而是把轨迹切段、按 scope 提候选、再由第二个模型验证据,并且用「完成时残留数」而不是「检出了多少」来量干预效果。它成立的条件是轨迹完整可读、且有愿意标注的专家——RIV-Gold 的 60 条 × 796.6 步说明这个成本不低。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
三面板。(a) 热力图,行为任务组(MLE-Bench、EinsteinArena、End-to-end),列为 14 个 RIVT 类型(NG、NVE、CF、CM、CV、RF、SR、EDG、ODTC、TCE、EG、ET、SRM、CI),格内是该组每条轨迹的平均被接受违规数,颜色 0–6;SRM 列在 MLE-Bench 为 2.60、EinsteinArena 2.47、端到端 6.87,CI 列分别为 1.72、1.78、2.95。 (b) 同一矩阵换成「含至少一条该类违规的轨迹百分比」,色标 0–100,端到端组在 NVE、CF、SRM、CI 上都在 55% 以上。 (c) 干预前后对照的条形图,横轴为平均被接受违规数:MLE-Bench 7.53→5.47、EinsteinArena 6.00→5.00、端到端 22.93→13.53。(arXiv:2610.31372)
站内摘要出入:摘要的「有效减少 RIVs」对应的是任务完成时残留违规均值 14.9→9.4(36.8%),且 60 对配对中有 8 对干预后反而更多;摘要把这一点省略了。

26. 把执行 harness 写成 Petri 网:安全可证,最小侵入阈值 43/60 · arXiv:2610.31376 · 邻近跟踪

Certified Execution Harness for Agentic AI: Safe and Least-Intrusive Petri-Net Supervisory Control Between Reasoning and Action · arXiv:2610.31376 · 邻近跟踪
作者与机构:Chao Gu(School of Electronics, Electrical Engineering and Computer Science, Queen's University Belfast);Quanyan Zhu(Department of Electrical and Computer Engineering, New York University)。原文注「submitted for publication」。
研究问题与核心方法:
要问的是:在提示注入下,「这次工具调用能不能放行」能不能完全不依赖 LLM 的判断,同时还别把智能体烦死?
模型是智能体执行 Petri 网 AEPN:库所里的 mark 表示运营事实(一次授权、一份证据、一单位预算),变迁表示动作;每个变迁标注动作名、责任主体(智能体 / 人 / 环境)以及可控 / 不可控。授权与预算被写成「可消耗的 mark」,于是「审批只能用一次」「部署次数不超过审批次数」这类规则变成线性不等式,用一个 monitor place 就能对任意次数生效,不必枚举状态。
准入规则是四条检查:提议不为空、参数校验通过、目标变迁在当前 marking 下使能、目标变迁落在监督器允许集 S(M_k) 内。任一条不过就拒绝,LLM 可以再提,每次重试算一次推理调用——这就是「侵入性」的计量单位。
安全性用 Ramadge–Wonham 的最大允许监督器,把工具结果、人工审批、rollout 完成当成不可控事件;再用四条假设把网上的安全转移到运行系统,其中 A4(a) 要求不存在绕过 harness 直接动环境的旁路。作者明确划界:如果一次本被允许的调用把密钥塞进参数里,这套方法不管。
主技术贡献是「重规划闭环」:被拒绝的智能体会重提,每次重提有成本。作者证明常规最大允许监督器在这个闭环里可能比一个更严的安全监督器侵入得多;并把最小侵入监督器刻画成对常规解按 proposer 模型做值阈值细化——只删转移、不加转移,所以即使 proposer 估计错了也仍然安全。
案例是一个自主发布智能体:20 个库所、18 个变迁、单位弧权,含计划、测试与扫描的 fork-join、人工评审、冻结事件与两阶段 rollout;在 5 种可控性配置下综合最大允许监督器,再用 32 个可达 marking 的版本做最小侵入分析。26
关键结果:
  • 5 种配置的可达 marking 数在 27–32 之间;在「诚实」不可控指派下(rollout 完成不可控),单阶段发布网没有任何安全监督器能放行一次部署(表 I 第 4 行,Reach=20、Deployed?=no)。
  • 把 rollout 拆成两阶段、加一个可控的 t_publish 之后,K↑=Q∖B,闭环可以部署(表 I 第 5 行,Reach=30、Deployed?=yes);也就是说,要求来自「发布机制缺一个可在 rollout 开始后拒绝的步骤」,不是来自策略调参(§VI-B)。
  • 在 32 个 marking 的重规划闭环里,只有当「测试后请求提前部署」的概率 h 超过 43/60≈0.717 时,最小侵入监督器才强制先跑安全扫描(§VI-C、图 8)。
  • 这个决定有精确代价:h=0.9 时常规监督器多付 75/17 次拒绝、最小侵入只多 20/17,差 55/17;h=0.98 时差 395/17(表 II)。
  • 若两种检查之后都可能出现提前请求且概率相同,两个监督器一致,最小侵入不额外删任何转移(表 II 最后一行)。
  • 结构性结论:对两个可以换序的动作,细化要么不管顺序,要么用一个 monitor place 把顺序固定下来,不会需要更多(§V、推论 1)。26
证据与局限:原文自陈:安全保证依赖四条假设,其中缺一条(尤其 A4(a) 的旁路)就不成立;凭证泄漏只在「该动作本就不被允许」时被覆盖;案例是一个人工设计的发布工作流。我判断:这是形式化论文,没有 LLM 端到端实验,所有数字来自综合算法在一个 20 库所网上的精确计算,所以数字可信、但只对一个网成立;43/60 依赖给定的 proposer 分布(均匀 + 0.15 的 ⊥ 质量 + 提前请求概率 h),换分布就换阈值,不能当通用常数引用。最值得记住的是那个反例:最大允许 ≠ 最小侵入,按「每次少拒一点」设计的 gate 在会重试的智能体上可能更烦人。26
复现:原文未提供代码或数据链接。关键配置:发布网 20 库所、18 变迁、单位弧权;不可控事件的指数率 λ(approve)=0.4、λ(reject)=0.1、λ(ok)=0.9、λ(fail)=0.1、λ(finish)=λ(finish_fr)=1、λ(incident)=0.02、λ(thaw)=0.2,智能体提议率为 1;图 9 的注入率扫描 q_inj 从 0 到 0.5,每点 10⁴ episodes。
与目标研究线的关系:属 B(自进化与运行期修复),也贴着 A 的「长程执行中的状态与恢复」。可搬的是三件事:把工作流状态放进网而不是放进提示词、把准入写成四条检查、把「侵入性」定义成拒绝次数。这样「安全」和「烦人」就成了两个可以分别计算的量,而不是一句策略。成立条件是工作流能被显式建模、且所有动作都经过同一个 kernel;只要留一条旁路,A4(a) 破了,保证就失效。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
一张分层框图。上方虚框是「Execution Harness(trusted)」:Interface α, V(解析、映射、校验、记录)接收 LLM 的提议 u_k,四条检查中的 i) t_k≠⊥ 与 ii) V=1 在这里判定,随后把 t_k 交给 Petri-net kernel,由 iii) t_k∈En(M_k)(使能)判定,再交给 Supervisor S 做 iv) t_k∈S(M_k)(允许),最后输出 admitted。下方黑框是「LLM + rest of harness(untrusted)」,它只能提出 u_k;被拒绝时收到 refused 并可 propose again。右侧灰框是 Environment(tools、humans、peers),admitted 的动作在这里执行,结果的 content 可能被注入,作为不可控事件 T_u 回到 kernel,同时把 results 回给 LLM。一条红色虚线从 LLM 直指 Environment 并标 ×,注明 no bypass (A4(a))——这条旁路一旦成立,安全保证就不再适用。(arXiv:2610.31376)
站内摘要出入:摘要把「最大允许」与「侵入性最小」并列,原文的主结论恰是二者在会重试的闭环里可以冲突——常规最大允许监督器可能任意更烦人,最小侵入解是对它做值阈值细化后的更严版本;另外「安全」是有条件的,只在这四条假设成立(尤其没有旁路)时才对运行系统成立。

27. 96 条模拟流上遗憾 0.116→0.104,假晋升 3.4% 低于 5% 目标 · arXiv:2610.31436 · 邻近跟踪

Conservative Meta-Agent Search: Architecture Adaptation under Non-Stationarity · arXiv:2610.31436 · 邻近跟踪
作者与机构:Ali Atiah Alzahrani(唯一作者,原文只给通讯邮箱 aliatiah100@gmail.com 与免责声明,未标注任何机构)。原文为预印本,未列合作单位。
研究问题与核心方法:
要问的是:元智能体在非平稳、反馈延迟且相关的环境里换架构,怎么把「假晋升」压到可接受水平?
形式化把架构搜索写成带切换成本的序贯 incumbent 替换:候选与现任在 common random numbers 下做配对影子重放,用结构距离当切换代价,组件信用用干预式 Shapley 估计,硬风险约束与资格检查在门前先把不合格候选剔掉。这里的 meta-agent 指整个外环(提议、编译、评测、门、回滚),不只是提议模型。
晋升规则是「经验校准的、方差惩罚的同时置信分数超过预设 margin」,通过后进模拟 canary,再按预设规则回滚。风险投影、授权、账本与数据截断都在 LLM 边界之外,LLM 只负责在档案条件下提出带类型的图编辑。
基准 MetaInvest-Bench 分三轨。Track A 是隐藏状态的 regime-switching 因子模拟器,worker 能力随 regime 变,所以 surrogate 最优架构可算,遗憾、选择准确率、信用保真度都能测;Track B 是 18 个日期受控的行情重放窗口;Track C 是 96 条流 × 6 种攻击 = 576 个治理 episode。
协议是嵌套 walk-forward、留出最终测试:96 条流 = 12 个种子 × 8 个 regime 调度,每个候选的模拟均值用 50 条 Monte Carlo 路径估(SE<0.004),主推断是配对的分层 block bootstrap;7 个 Track A 基线都是同预算的「-style」重实现,不是官方版本。27
关键结果:
  • 96 条流上归一化代理遗憾从 0.116 降到 0.104(−10.3%),留出效用从 0.44 升到 0.48;配对差分别为 −0.012 [−0.020, −0.004] 与 +0.038 [+0.010, +0.066],Holm 校正后不含零(表 1)。
  • 假晋升占 2,112 次更新的 3.4%;原文另报占实际晋升的 5.86%,42% 的更新保留现任,11.4% 的流至少出现一次;封存重跑为 4.8%(§7 RQ4)。
  • 去掉同时置信校正或去掉配对,假晋升率升到 8.4% 或 6.1%,说明门的两件零件各自有用(表 10)。
  • 干预式信用:架构选择与 surrogate oracle 的一致率 63.8%(最强基线 59.1%),信用秩相关 0.41 对 0.32(§7 RQ2)。
  • 迁移:未见 regime 混合下效用保留 83.5%(基线 78.5%);加两个新专家、4 次更新后 81.2%;换骨干的损失 7.8%(AFlow 式 11.8%);留出集假晋升率从 3.4% 升到 4.1%(表 13)。
  • 稀疏化:额外 worker 没有用时,团队从 3.4 缩到 1.6(去掉 parsimony 项则为 4.6),这是负对照而非通用保证(§7 RQ5)。
  • 成本:部署推理成本低 6.0%,但含搜索的 token 成本是所比方法里最高的——前沿只在部署口径上成立(表 1、表 9)。27
证据与局限:原文自陈:实现的分数不在 Proposition 1 的范围内,只对 J̃ 成立,不给全效用、不给 canary 无害、不给序列级错误控制;模拟器是作者自建,Track A 只有内部效度,Track B 的 N=18 欠功效;基线是同预算「-style」重实现;单一领域,且假设描述符 z_k 有信息;canary 与回滚都是模拟的,没有真实部署。我判断:自陈局限写得比多数论文诚实,但也正因如此,可引的东西很有限——「96 条流」是 12 种子 × 8 调度,不是 96 段独立行情,读成 96 个市场样本会高估外部效度;3.4% 的假晋升率是在作者冻结的 margin 与分布上测的,原文自己说分数不是有效置信界。相对可靠的是配对差与负对照(clone-collapse 3.4→1.6、shuffled 描述符抹掉优势)。27
复现:原文未提供代码或数据链接;称复现包(模拟器、环境接口、基线适配器、评测脚本、种子清单、冻结配置、一条完整 worker/聚合提示、10 条完整追踪流)「in preparation for public release」。关键配置:提议与红队模型 Llama-3-70B-Instruct(温度 0.2、top-p 0.9),worker 为 Mixtral-8x7B-Instruct-v0.1(温度 0.4)与 Llama-3-8B-Instruct(温度 0.3),骨干迁移用 Claude 3 Opus(温度 0.1);种子 42/1337/2024;每候选 50 条 Monte Carlo 路径。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是一条完整流水线:先定假晋升率目标,再用配对影子重放 + 同时置信 + margin + canary/回滚来替换现任,并把「不换」当成正式选项(本文 42% 的更新保留现任)。它成立的条件是有可重放的评估器与便宜的重放——本文靠模拟器做到;在真实系统里,重放成本直接决定门能开多严,也就决定这套方法能不能用。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
单面板折线图。纵轴是 surrogate-oracle 遗憾(0.10–0.30),横轴是相对一次 regime 切换的外环更新步数(−6 到 +11),0 处竖虚线标「Regime shift」。三条带 95% 带的曲线:Fixed committee(灰,切换前约 0.17,切换瞬间冲到约 0.28,之后缓慢回落到约 0.18)、Best adaptive baseline(蓝,切换前约 0.12,峰值约 0.23,之后降到约 0.115)、CMAS(红,切换前约 0.105,峰值约 0.195,之后降到约 0.10)。两条注释分别指向蓝线与红线,标出回稳所需更新数:Baseline ~3.1 updates、CMAS ~2.7 updates;阴影带在峰值附近最宽,表示切换时刻的不确定度最大。(arXiv:2610.31436)
站内摘要出入:摘要里的「96 个金融流」来自 Track A 的 regime-switching 模拟器(12 种子 × 8 调度),不是 96 段真实行情;真实行情只有 Track B 的 18 个重放窗口,原文明确说欠功效、不能当可部署 alpha 的证据。

五、轨迹、协同与信用分配

七篇分两半:信用怎么落到具体一步,群体怎么失稳。
信用侧两篇都是过程级。RIPPLE 把 SWE-bench Pro 从 50.8 抬到 57.3;RoleFlow 七基准均分 67.1,比最强对手 62.4 高 4.7 分。
群体侧两篇从相反方向指向同一件事:群体的落点由影响力决定、不由质量决定。命名博弈里共识总流向最强的那个模型(两人局胜率 0.67–0.83),可这个游戏没有可判对错的答案,赢下来的只是影响力;多智能体级联则被累计推荐数带着偏离歌本身的吸引力、且基本不自纠——弱影响下 13 个模型的 KL 分歧约为人类的 9 倍,强影响下仍有 4 倍,而人类会在 16 个世界里 15 个自我拉回,LLM 群体做不到。一个收敛、一个发散,方向相反,共同点是影响力压过质量、且都没有内在的纠错力。
还有一条最容易被误读:把失败走法连同报错写回 transcript,小模型更想重走(8 个模型合并 G=−1.38);换成模型自己提出的错走法,符号反过来(+1.34)。同一份「反馈」,来源不同,方向相反。

28. 失败记录让失败走法更可能重演:8 个模型合并 G=−1.38 · arXiv:2610.30205 · 值得扫读

Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail? · arXiv:2610.30205 · 值得扫读
作者与机构:Esmail Gumaan(University of Passau,德国帕绍大学计算机与数学学院),单作者,无共同一作与通讯作者之分,无其他合作单位。
研究问题与核心方法:
要问的是:把失败的走法连同裁判的报错写回 transcript 之后,小模型在游戏里会更想重走这一步,还是更不想?
方法:在 Sokoban(6×6、单箱,房间取自 RAGEN 的 SimpleSokoban 生成器)、Connect Four(6×7)、Othello(8×8)三个无运气、非象棋家族的游戏里造探针。失败分两类且都能精确判定:非法走法(列已满、格子已占、撞墙、未知动作等),以及合法但致败——Connect Four 用「对手下一步能立刻四连」判负(一次一层搜索),Sokoban 用穷举 BFS 判死锁。
每个决策点只改一件事:系统提示、目标、成功前缀、棋盘状态逐字节相同,只有「尝试记录」不同。核心条件沿用前作的 pre / fail / succ / neut / abstract,补救集再加 fail_instr(系统提示里加「不要重复」)、fail_echo(报错里引用该走法)、fail_k2(同一走法失败两次)、fail_other(记录另一个失败走法,被判分的走法从未被写出)、abstract_min(只留一个失败标记)。
被探的失败走法由扰动算子从正确走法生成(相邻或镜像的列、相邻/转置/镜像的格子、反向或垂直方向、指南针同义词),保证每个模型看到逐字节相同的题目;另有「模型自己提出」的走法作为现实性对照,但按定义因模型而异,不与共享题池合并做跨模型比较。
度量是前作定义的 corrective gain:G = log π(a×|C) − log π(a×|C⊕(a×,o×)),按走法 token 归一,单位 nats/token;G>0 表示记录起了纠正作用,G<0 是「反馈倒置」。再把 −G 拆成 Δcopy(仅仅把走法写进上下文)与 Δsem(再告诉它这一步失败了)。区间是按压位置聚类的 95% bootstrap,10,000 次重采样,条件之间逐题配对。
评测对象:8 个指令微调模型(135M–1.7B,各用自己的 chat 模板);OLMo 2 1B 的 5 个公开检查点(base/SFT/DPO/RLVR/Instruct,统一用 completion 格式探,后训练版另跑 chat);RAGEN 的两个默认模型(Qwen2.5-0.5B/1.5B-Instruct)在 RAGEN 自己的 SimpleSokoban 提示里探(no-think、每轮一个动作)。全部在 float32、单张免费 Colab Tesla T4 上跑。28
关键结果:
  • 共享题池上 8 个模型合并后 G=−1.38 [−1.85, −0.95] nats/token,即记录让刚失败的走法更可能被重写;840 个(模型, 题目)对里 61% 为负。四选一归一化概率从 0.24 升到 0.35,贪心解码复现该走法的比例从 12% 升到 23%(§5、表 1)。
  • 增益几乎全由「走法被写进上下文」带来:Δcopy=+1.34 [+0.95, +1.76],Δsem=+0.04 [−0.10, +0.17],后者区间含零(表 1、图 1)。
  • 非法走法 G=−1.61 [−2.16, −1.11](66% 的题目为负);合法但致败只有 −0.39 [−0.90, +0.06],仅 23 个位置,区间含零。按游戏看,Connect Four 致败 −0.84 [−1.48, −0.22],Sokoban 死锁推箱 +0.23 [−0.26, +0.60](表 2、图 2)。
  • 符号由「这步本来有多可能」决定:记录之后,失败走法每 token 对数概率对先验的斜率只有 0.18 [+0.14, +0.21]。先验 <1% 的 652 道题 G=−2.62,贪心解码从 0% 升到 22%;先验 >30% 的 469 道题 G=+1.68,贪心重复从 91% 降到 38%,而抽象描述只降到 60%(§6、图 3)。
  • 模型自己提出的错走法方向相反:G=+1.34 [+1.18, +1.49],759 道题里只有 26% 为负(§5)。
  • OLMo 2 阶梯:base 已经倒置(−0.52 [−0.70, −0.34],82% 为负,Δcopy=+0.49),SFT 只加 +0.10,DPO 一步加 +0.30 后落到 −0.12 [−0.39, +0.15](区间含零),copy 项转为 −0.23,但语义项反向升到 +0.35(表 3)。
  • 补救:抽象描述 −0.83、裸失败标记 −0.72、「不要重复」+0.03(几乎无变化)、报错引用走法 +0.78、同一走法记录两次 +1.68(表 6);自由对局里「重复先前失败走法」的比例为 72%(逐字记录)、71%(加指令)、75%(抽象描述)、94%(干净重试)——94% 是清空上下文、不给任何失败记录的对照,不是「有记录」的结果:自由对局里的失败走法本身就是小模型的贪心首选,清掉记录后贪心会把同一走法原样再写一遍;作者在 §10 明说这是「逐字记录降低重复」的反向情形,所以 94% 不能当作「记录让失败重演」的证据;解码器封禁把它压到 3% 与 0%,但非法走法占比只从 81% 变到 79%(§10、表 12)。28
证据与局限:原文自陈:所有数字来自 135M–1.7B(外加 1B 的 OLMo 2 阶梯),单张免费 T4、float32,3B 以上放不进显存,原计划的 7B 规模检查没跑;RQ3 里真正的 RL 训练(用 StarPO 训 Sokoban)没做,只测了训练前的 RAGEN 格式;自由对局接近地板(81% 走法被拒、68% 对局撞步数上限),所以那里的 harness 比较主要反映非法走法的分布而不是能否赢;每个游戏只用 30–40 个位置、每个 OLMo 检查点 20 个、每个自由对局格子 8 个 episode,区间含零可能只是题太少。我判断:最硬的地方是回归校准——把前作 100 道工具调用题重跑,CPU 与 GPU 都给出 G=−23.92,逐条对数概率差在 9.5×10⁻⁵ nats 以内,说明前后两套代码没有漂移;最软的是效应量的可迁移性:合并值 −1.38 被 Qwen3-0.6B 的 −5.45 拉着走,8 个模型里只有 4 个区间整体在零以下,致败走法、SFT 阶段、「不要重复」三处都给了含零区间。所以「记录把偏好拉平」这个机制方向可以信,幅度不能搬。站内摘要出入:摘要称「失败走法的记录会使其重复该走法」,原文在模型自己最可能犯的错上符号相反(G=+1.34,759 项,只有 26% 为负);摘要称「DPO 阶段可消除该反效果」,原文是 DPO 后落到 −0.12 [−0.39, +0.15](区间含零)、语义项反向升到 +0.35,属「大体消除」而非消除。28
复现:https://github.com/Esmail-ibraheem/feedback-that-backfires/tree/games (代码、探针题目、逐条记录、自由对局 transcript、运行元数据都在这里,每个数字由一条命令从原始记录重算)。关键配置:PyTorch 2.11.0+cu130、Transformers 4.56.1、float32 且关闭 TF32、单张 Tesla T4;检查点按表 7 的 Hugging Face revision 钉住;共 51,726 条(题目, 条件, 候选)打分记录。
与目标研究线的关系:属 B(轨迹学习与自进化)。可直接搬三件事:G 的定义与 copy/语义分解,用来判断「把失败动作写回上下文」这一常见 harness 设计到底在帮忙还是添乱;「报错不要引用失败的那个字符串」这条可执行改写规则;以及「解码器封禁只挡精确重复、挡不住换一个非法动作」这个负结果。它成立的条件很窄——小模型、单步探针、teacher-forcing 打分;真实 agent 的自由对局里符号会反过来(原文自己给出 +1.34)。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
两联图。左联横轴是失败走法在尝试前的每 token 对数概率(按十分位取均值,约 −12 到 0),纵轴是同一步在记录之后的每 token 对数概率,虚线是「完全不变」的对角线;三条实线分别是逐字失败记录、无褒贬记录与抽象描述:前两条几乎水平(对先验的斜率 0.18 与 0.24),抽象描述仍明显跟随先验(0.75)——也就是说,只有把走法写进上下文时先验才失效。右联横轴把先验概率分成 <1%、1–10%、10–30%、>30% 四档,纵轴是贪心解码重复该走法的比例:<1% 档从尝试前的 0 变成 22%(逐字记录),抽象描述仍为 0;>30% 档从 91% 降到 38%(逐字)与 60%(抽象)。左联量纲为 nats/token,右联为比例。(arXiv:2610.30205)。

29. RoleFlow:编辑级反事实信用把七基准均分推到 67.1 · arXiv:2610.30429 · 精读

RoleFlow: Self-Evolving Multi-Role Agentic Collaboration via Structural Adaptation · arXiv:2610.30429 · 精读
作者与机构:第一作者 Yi Ge(University of Maryland, College Park);通讯作者为 Yi Ge、Furong Huang、Heng Huang(原文脚注 † 标 Corresponding authors,邮箱 {yige, furongh, heng}@umd.edu)。合作单位:Pan Wang 署 University of Pittsburgh,Xu Hu 署 The University of Texas at Dallas;Xuehao Cui、Zian Zeng、Heng Huang、Furong Huang 均署 University of Maryland, College Park。
研究问题与核心方法:
要问的是:多智能体的协作链能不能在执行过程中按反馈一次次改写,并且让「这一次改写」的功劳与责任被单独算清楚?
协作结构写成一条链:Global Router(下称 GR)先写计划、拆任务并指定初始链里的角色;每个周期跑一次链,验证器不过就返回一个 deficit(说明缺什么);GR 看着 deficit 和累积记忆 σ_t 只提一个结构编辑,下一周期再跑。一次只改一处,是为了让相邻两条链最多差一个编辑——否则多个编辑的效果会混在一起。
编辑算子有限:ADD / PRUNE / SWAP / REROUTE / NULL EDIT。角色也不限于预定义库:GR 点名一个库里没有的角色时,LibraryExpander 依据角色名、任务和当前 deficit 现场合成规格,放进该 rollout 的临时 overlay,只有过了 return gate 才进共享库。
SECPO 的核心是「同状态反事实」:固定当前链与记忆,把候选编辑执行一遍得 R(y⁺),不执行再执行一遍得 R(y⁰),两者之差 A=R(y⁺)−R(y⁰) 就是这一个编辑的信用,只有 A>δ=0.005 才真的提交。训练时每个任务采 K=5 条 rollout。
信用落到 token 上:GR 的计划 token 先拿组内标准化的 GRPO 优势,再把 A 以 λ=1 只加在「拼出这次编辑的那段 token」上,之后用 PPO 的裁剪目标加 KL 正则更新。执行器 gpt-4o-mini 全程冻结,只训 GR(Qwen2.5-7B-Instruct,verl,4×H200)。
评测覆盖 7 个基准、4 个域:多跳 QA(HotpotQA、2Wiki、MuSiQue)、数学(MATH-500)、代码(MBPP、HumanEval)、网页交互(WebShop,AgentBench 协议)。HotpotQA/MATH/MBPP/WebShop 上训练,2Wiki、MuSiQue、HumanEval 不重训直接测(OOD)。指标分别是 F1、accuracy、Pass@1、WebShop score,报三次训练运行的均值与标准差。29
关键结果:
  • 七基准均分 67.1,高于最强对手 W4S 的 62.4 达 4.7 分((55.6+43.5+42.1+81.1+89.0+95.7+62.6)/7=67.09;W4S 七项相加 436.8/7=62.4),7 个基准里 5 个第一(表 1)。
  • 多跳 QA 上 55.6 / 43.5 / 42.1;原文称相对底层 gpt-4o-mini 执行器提高 10.0–19.0 F1(HotpotQA 的执行器基线 45.6 可直接算出 +10.0,另两个基准的执行器基线原文未在正文给出);相对该榜最强基线领先 3.2–7.5 F1(§4.2、表 1)。
  • 结构自适应本身值约 10 分:把 GR 换成出现频率最高的固定链,HotpotQA 只有 45.7,几乎等于直接执行的 45.6;保留 GR 但关掉编辑,三个 QA 基准掉 3.8–8.5 F1(表 2)。
  • 信用粒度值 2 分左右:换成 GRPO,HotpotQA / 2Wiki / MuSiQue 分别掉 2.1 / 2.5 / 2.6 F1;但在 MBPP 上 SECPO 略输、HumanEval 打平,因为那里验证器触发的纠错编辑更少(表 2、§4.3)。
  • 同状态反事实比「算子均值」稳:COMA-Operator 在 HotpotQA 与 SECPO 同为 55.6,OOD 上掉到 41.4 / 36.6(SECPO 是 43.5 / 42.1)(表 3)。
  • 代价可量化:每个训练问题实际执行的链数从 9.1 升到 13.5(1.48×),训练 GPU 时从 3.7 升到 5.07(表 3)。
  • 跨执行器:只用 gpt-4o-mini 训出的 GR,换 Llama-3.1-8B-Instruct 执行,MBPP / HumanEval 分别涨 11.7 / 16.0 Pass@1,而 gpt-4o-mini 自己只涨 5.3 / 7.4(§4.5、图 6)。29
证据与局限:原文自陈:RoleFlow 需要每个周期都返回 pass/reject 与 deficit 的任务验证器,新领域得先有这样的检查才能训 GR 或跑推理;推理比免训练流程贵;SECPO 训练每提一次编辑要多执行一条链。我判断:三次种子、同任务同 rollout 的消融、「同状态重跑」这个对照,让 SECPO 与 GRPO 的 2.1–2.6 F1 差值比单次跑分可信;但 4.7 分的对手 W4S 是作者按自己流程重训的,七基准的划分、验证器与提示也都是作者自定,跨论文比较不成立。最需要打折的一点:SECPO 的收益集中在 QA,代码任务上反而不如 GRPO——它是「编辑信用在稀疏验证反馈下更值钱」的证据,不是「处处更强」的证据。29
复现:原文未提供代码或数据链接。关键配置:GR 用 Qwen2.5-7B-Instruct、verl 框架、4 张 NVIDIA H200;K=5、每步 32 个任务、学习率 2×10⁻⁶、KL 系数 0.001、裁剪比 0.2、T_max=3、提交阈值 δ=0.005、编辑优势权重 λ=1。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是「结构编辑原子化 + 同状态反事实对照」这一套:任何在运行中改 workflow、改提示词、改工具集的系统,都能用「跑一遍带改动、跑一遍不带改动」的成对差值替代轨迹级回报,把信用落到具体改动上,再用阈值 δ 把无效编辑挡在链外。成立条件是有确定性验证器、且验证器能返回 deficit;缺这一条,编辑既无法提交也无法记功。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
一张横向总览图,左边是演进中的协作链、右边是角色库与编辑算子两块。顶部 Global Router 标着 Trainable,依次做 Task Decomposition、Chain Assembly、Edit Selection;下面三行分别是 Cycle 0 的初始链(Planner、Information-Extractor、Reasoner、FactChecker、Validator)、Cycle 1 的一次编辑 a₀=REROUTE(FactChecker, Reasoner)、Cycle T 的 a_{T−1}=ADD(Comparator),每轮末尾是被验证器打红叉的 y 与随之产生的 deficit d₀、d₁,最后一行是 y_T 通过并产出 Answer,旁注 At most T_max Cycles。右侧 Role Library 列出六类角色,新合成的 Comparator 标为 New 并注明 Grows across Training Queries;下方的 Edit Operators 给出 ADD、PRUNE、SWAP、REROUTE、NULL EDIT 五个原子操作,并标出 Synthesized Role → Return Gate。(arXiv:2610.30429)。

30. RIPPLE:阶段化信用把 SWE-bench Pro 从 50.8 抬到 57.3 · arXiv:2610.31276 · 精读

RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding · arXiv:2610.31276 · 精读
作者与机构:第一作者 Jingxuan Xu(National University of Singapore,邮箱 e1553956@u.nus.edu);原文脚注标 ⋆ 为同等贡献、† 为通讯作者,但标记没有落到具体姓名上。合作单位:Zihang Xu、Ziqi Miao、Xinshun Feng 署 Shanghai Artificial Intelligence Laboratory;Yuechen Luo、Junhao Fan 署 Tsinghua University;Wenqiang Zhu、Weihao Li、Zhiyi Lai、Yanan Wu、Haoyang Huang、Ken Deng 署 Independent Researchers。
研究问题与核心方法:
要问的是:智能体看得见测试失败、也说得出像样的诊断,却继续沿错方向改——怎么把「看到证据就改」训进策略本身?
把一次恢复拆成三段:触发(什么时候该反思)、诊断(依据哪条证据、得出什么结论)、纠错动作(接下来怎么改),记作 (T_trig, T_crit, T_ca)。这正是原文命名的「批评到行动的交接缺口」:说得对,做得不对。
教师只看前缀。轻量生成模型 g_φ 在只给轨迹前缀 h_t 的条件下输出 q_t(是否出现可恢复偏离)、α_t(置信度)、c_t^ref(有证据支撑的参考批评),不接触后续动作、最终补丁与验证结果;恢复起点取窗口内最早满足 q_t=1 且 α_t≥γ 的位置,教师给不出就弃权。
初始化用混合 SFT:任务轨迹教仓库探索、读测试、改代码、验补丁;恢复轨迹在可恢复位置插入教师批评、并保留其后的正确续写,两项 SFT 损失加权相加得到 π_sft。
RL 阶段沿用 GRPO 的轨迹级优势,但用局部有效性给优势「定符号」:触发是否落在标注边界窗口 w=4 内、诊断是否与参考批评一致且被证据支撑、纠错是否真的让测试由 fail 转 pass,三个 0/1 信号各自只作用于对应 span,决定该 span 继承 [Â]⁺ 还是 [Â]⁻;任务奖励只有一个来源——可执行验证器。训练期的所有辅助监督在部署时全部撤掉。
实验用 Qwen3.5-27B、SWE-agent 风格的编辑—执行脚手架,工具轮上限 150;四个仓库级基准:SWE-bench Verified、Pro、Multilingual 与 SWE-Compass(官方 task-aligned macro 平均),报单轨迹 Resolved@1,训练方法取三个种子。另建冻结的 Recovery Challenge Set:800 个可恢复前缀加 400 个未偏离前缀,由另一模型家族的评估器标注边界与根因,人工复核子集的 Cohen's κ 分别为 0.81(边界)、0.76(诊断)、0.73(动作归因)。30
关键结果:
  • 相对 base:Verified 74.6→75.9(+1.3)、Pro 50.8→57.3(+6.5)、Multilingual 68.8→73.6(+4.8)、SWE-Compass 24.3→30.7(+6.4);四个差值算术平均 (1.3+6.5+4.8+6.4)/4=4.75,即摘要里的 4.8。Verified 的仓库聚类 95% 区间跨零(表 1、§4.2)。
  • 收益跟着「可恢复偏离」的密度走:冻结 base 的轨迹里可恢复偏离占比 Verified 17.8%、Pro 43.6%、Multilingual 39.8%、SWE-Compass 可执行子集 41.2%,与增益的仓库簇相关 r=0.68;Pro 上按难度四分位从 Easy 的 +1.8 升到 Extreme 的 +11.9(§4.2)。
  • 净收益是修多于坏:Pro 上修好 base 本来失败实例的 8.8%,同时弄坏 base 本来解对的 2.3%,净得 6.5 分;周期性反思是修 6.6%、坏 4.8%(§4.2、附录 D.4)。
  • 不是「多算就行」:在约 1.17× 的实际 actor token 预算下,更长单轨迹与拆分预算重启分别只到 51.7 与 53.2(Pro),RIPPLE 是 57.3;部署侧 0 次外部调用、1.17× actor token、1.23× p95 延迟,与「在线同教师」参考在每个基准上差不超过 0.6 分(表 1)。
  • 信用必须「局部 + 阶段对齐」:同一批 rollout 与同一套过程标签下,把通用信用限制到一个恢复事件,Full-Loop Recovery 从 45.1% 升到 50.4%(Pro 54.8→55.6);只区分阶段但把信号广播到整个事件到 53.1%(Full-Loop Recovery)/ 56.1%(SWE-bench Pro);每个信号只作用于自己那段到 59.6%(Full-Loop Recovery)/ 57.3%(SWE-bench Pro)。随机 token 门控与阶段打乱只有 45.8% 与 48.4%,正信用污染从 38.4% 降到 24.6% 再到 11.2%(§4.3、图 3)。
  • 冻结挑战集:触发 F1 0.79、诊断 81.5%、动作对齐 74.8%、功能恢复 70.2%、全环恢复 59.6%;400 个未偏离前缀上的误触发率 8.9%,周期性反思是 71.5%(表 2)。
  • 匹配前缀干预:固定策略、前缀、仓库快照、剩余预算与配对种子,只换批评——完整批评 K 步恢复 62.9%,去掉批评降到 39.8%,等长同风格的泛泛批评 42.0%,方向错误的批评比去掉还差(25.6%);对应的 pass-to-fail(P2F,干预前能过、干预后反而转失败的测试)回归,从完整批评的 2.4% 升到去掉批评的 6.8%(§4.4、图 4)。30
证据与局限:原文自陈:只测 Qwen3.5-27B 一个模型、一个编码脚手架,跨模型与跨域未验;仓库切分不排除预训练污染;过程标签是近似的,候选恢复事件的离线筛选用了完整轨迹;辅助监督与快照测试增加训练成本,未做完整的摊销分析;符号门控在组内奖励全同的样本上不提供学习信号,也救不了证据不足或状态不可逆;固定前缀指标只对选定状态成立;4.8 是各基准分数差的平均,不是把问题解决率合并后的平均。我判断:这篇的因果证据比多数「加了个 critic」的工作干净——同一批 rollout、同一套标签、七个信用变体逐级对照,再加一组「只换批评、其余全锁」的干预,能把「起作用的是批评的语义而不是多花的 token」说到相当程度。要打折的是两点:Verified 的区间跨零,说明四个基准里有一个的增益本身不稳;过程标签的 κ 上限 0.73–0.81 意味着信用再细也细不过标签噪声。30
复现:原文未提供代码或数据链接。关键配置:Qwen3.5-27B、SWE-agent 风格脚手架、工具轮上限 150、单轨迹 Resolved@1、训练方法 3 个种子、固定恢复评测 800+400 条前缀、触发窗口 w=4、动作对齐窗口 K=8。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是「把恢复拆成触发/诊断/纠错三段,各用一个可验证的 0/1 信号给优势定符号」——比给整条轨迹一个标量奖励更省,而且部署时不需要 critic(0 次外部调用)。成立前提原文自己也划清了:前缀里得有能支撑诊断的证据,仓库状态在剩余预算内还得可逆。在同时满足这两条的 248 条前缀上,增益是 +20.4;只有其一时分别是 +5.8 与 +4.7,两个都不满足只剩 +1.7。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
上下两段的流程图。上半段 Stage 1 分四步:① 只喂轨迹前缀 h_t 的教师 g_φ 输出 q_t(是否可恢复)、α_t(置信度)、c_t^ref(参考批评);② 在时间轴 t 上取最早满足 q_t=1 且 α_t≥γ 的位置作为可恢复边界 b̂_k;③ 用任务轨迹与恢复轨迹两类数据构造样本;④ 混合 SFT 得到初始化策略 π_sft。下半段 Stage 2 里,actor π_θ 与环境交互,一次恢复被切成触发 τ_trig、诊断 τ_crit、纠错动作 τ_ca 三段,各自给出 0/1 判定;右侧 Stage-Specific Credit Assignment 把 valid/invalid、good/bad、effective/ineffective 分别映射成 [Â]⁺ 与 [Â]⁻,再与 GRPO 的轨迹级优势 Â_i=(R_i−μ_R)/(σ_R+ε) 合并,奖励只来自可执行验证器,箭头指向更新后的 π_new。(arXiv:2610.31276)。

31. 纯宏执行 0.583、纯微 1.000:技能粒度该在运行时切 · arXiv:2610.31461 · 邻近跟踪

Adaptive Skill Granularity for Coding Agents: Runtime Routing and Macro-to-Micro Recovery · arXiv:2610.31461 · 邻近跟踪
作者与机构:第一作者 Dingxuan Zhang(Shanghai Jiao Tong University),原文在其名下标注 These authors contributed equally 与代码仓库地址;Jun Wang(University of Warwick)留通讯邮箱 h.rezin.zhou@gmail.com;Hefeng Zhou 同时署 Shanghai Jiao Tong University 与 Kuaishou Technology Co., Ltd.;Yanhui Jiang 在原文的机构行里没有挂单位。
研究问题与核心方法:
要问的是:把「用粗粒度的宏技能还是细粒度的原语工具」当成运行时可切换的动作抽象,能不能同时拿到鲁棒性与成本?
问题设定:同一个编码任务可以用原语工具(读文件、搜索、编辑、跑测试)一步步做,也可以用宏技能(模块检查、带验证的替换、搬模块并改 import)一次做完;宏技能失败时,应该降级到原语从当前工作区继续,而不是从头重来。
框架是一个在线环路:先从任务与仓库快照抽 10 维结构特征(源文件路径数、Python 与非 Python 文件数、提示里的实体串数、AST 节点数与最大深度、import 数、跨文件依赖数、文本任务标志、重构任务标志),粒度控制器据此选 micro / macro / hybrid 三档之一,执行器只能用被选中的动作集,最后用确定性验证器判成功。
控制器有两种:手写规则(作参照)和一棵最大深度 4 的决策树(离线用历史执行日志训,序列化成 JSON,运行时确定性遍历);恢复部分是有限状态机,只有出现可观测的宏失败、验证失败或故障注入事件才允许切回 micro,每次转移都写进轨迹日志。
宏技能被要求带契约:适用前置条件、允许的工作区副作用、内部验证例程、可观测失败类别、微级回退路径;当前原型只有三个手写宏(inspect_python_module、replace_and_verify、move_module_and_update_imports)。
评测协议叫 GranBench-Code,四类任务各 20 个目标(simple / medium / refactor / recovery);实际报数的是 12 个混合任务(表 2、表 4)与 7 个故障注入任务(表 3、表 5)。指标是验证器判定的成功率、每个成功任务的 token 成本(所有运行的成本之和除以成功数)、G-score,以及宏采纳率、恢复率、路由匹配率、转移率。31
关键结果:
  • 固定粒度暴露取舍:A-Micro 成功率 1.000、平均 6.00 步、7217.75 token、G-score 0.1667;B-Macro 0.583、2.71 步、3609.00 token、G-score 0.4305;C-Heuristic 居中(0.750、3.22 步、4097.67 token、0.4103)(表 2,12 个任务)。
  • 早期失败上「永不恢复」直接归零:Before 条件 C-Heuristic-NoRecovery 成功率 0.000,E-FSM-Downgrade 1.000 但要 6.86 步、11293.43 token(表 3,7 个任务)。
  • 晚期失败反过来惩罚无条件降级:After 条件下宏已经把改动写进工作区,NoRecovery 用 2.71 步、2440.14 token 就通过;FSM 仍 1.000,但涨到 5.71 步、7566.71 token,转移率 1.000(表 3)。
  • 学出来的路由比手写规则准:D-Learned-ModeOnly 在 12 个任务上 1.000(4.17 步、5518.33 token),C-Heuristic-ModeOnly 只有 0.750;学习路由与经验最优标签的匹配率 1.000 对 0.667(表 4)。
  • 两者合起来最省:F-Learned-Full 在 Before 下保持 1.000、token 降到 9763.57、转移率 0.857;在 After 下 1.000、token 3694.43、转移率 0.143、G-score 0.5720(表 5)。31
证据与局限:原文未单列局限一节;摘要自称这是一次 pilot study,结论把「把 GranBench-Code 扩到更多任务集、仓库、失败模式与模型」列为未来工作。我判断:证据强度撑不住摘要里「解决」的说法。三处硬伤——12 个与 7 个任务的样本量、全文没有交代用的是哪个 LLM(从摘要到附录只写 identical LLMs,没有一处给出模型名)、也没有报告重复次数或方差;再叠上 G-score 的定义把成功率除以「成功步数 × 归一化 token 成本」,After 条件下两个成功率都是 1.000 的系统却给出 1.1866 与 0.2142,指标对小分母极敏感。站内摘要出入:站内摘要称该框架「解决了技能粒度控制问题并提升鲁棒性与失败恢复」,原文只给出 12 个混合任务与 7 个故障注入任务的 pilot 结果,且未报告所用模型与重复次数。31
复现:https://github.com/Jayceon-3/Adaptive-Skill-Agent (原文首页脚注给出的代码地址)。关键配置:决策树最大深度 4、10 维执行前特征、三个手写宏(inspect_python_module、replace_and_verify、move_module_and_update_imports)、六个对照变体 A–F、每个任务有 before 快照供审计。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是「技能粒度是运行时控制变量」这个口径,以及它的失败分类:precondition mismatch、partial side effect、validation failure、tool-schema failure、executor exception——只有降级后产生通过验证的最终状态才算恢复成功。它成立的条件很低:要有确定性验证器,宏技能还要自带可观测的失败信号与回退路径;缺这两样,路由与降级都无从判定。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
两层的框架图。上层 Online Execution Loop:Task+Repository Fixture 先过 Complexity Feature Extractor 得到特征,进入 Granularity Controller(内分 Mode Router 与 Recovery Router),再分流到三种执行器——MICRO Executor(read / search / edit / test)、MACRO Executor(三张 reusable skill cards)、HYBRID/FSM Recovery(标着 downgrade to micro),各执行器之后接 Verifier(syntax+tests),成功则写入 Trajectory + Outcome Logs,失败则沿虚线回流到 Recovery Router。下层 Offline Learning and Evolution Loop:日志分成三路,一路进 Router Dataset 训出 Trained Routers,一路生成 Confidence Reports,一路进 Macro Evolution Loop 再写回 Skill Registry。(arXiv:2610.31461)。

32. PRS:三个扰动方向把 CVRP-50 的最优性差距压到 0.79% · arXiv:2610.31048 · 值得扫读

Directing to Diversify: Multi-Directional Search for Automatic Heuristic Design · arXiv:2610.31048 · 值得扫读
作者与机构:第一作者 Jianghan Zhu(Nanyang Technological University,与 Jianan Zhou 共用同一机构标注);合作单位:Fei Liu 双署 University of Zurich 与 ETH Zurich,Yaoxin Wu 署 Eindhoven University of Technology,Zhuoyi Lin 署 A*STAR,Zhiguang Cao 署 Singapore Management University;Ni Zhang 在作者行里未单独标注机构。
研究问题与核心方法:
要问的是:自动启发式设计(AHD)里的多样化,能不能不靠进化算子的副作用,而是在生成层就用显式方向来控制?
背景:LLM-based AHD 大多在进化计算框架里迭代改进启发式,交叉、变异、反思带来的多样化是涌现的副产物,变化方向本身不受搜索机制控制。PRS 要把方向变成搜索原语。
做法把启发式生成拆成「扰动 + 改写」两步:先在想法层对父代做三种方向性扰动——expansion(更丰富、更专门的表达)、compression(更简单、更少特化)、steering(局部微调)——再由 LLM 把扰动后的规格改写成可执行代码,同时保持原有的决策逻辑。改写的是规格而不是源码,是为了让方向性变化不被实现细节吞掉。
搜索层用有界 BFS:beam size κ=3、最大深度 d=3、前沿规模 fs=3、启发式池 10;算子按 UCB 自适应分配预算,并加停滞感知重启(阈值 C=10⁵)。除 OBPP 外,评估 1000 个启发式、LLM 查询上限 5000 次。
实验覆盖三类框架:ACO(CVRP、OP 黑盒与白盒、MKP)、逐步构造(KP、OBPP、TSP、ASP)、GLS(TSP、FSSP);主实验统一用 GPT-5-nano,指标是最优性差距(相对最优解、已知最好解或下界),三次独立运行取均值。验证集与测试集按 MCTS-AHD 的流程与随机种子生成,初始种子启发式也与之一致,以保证同起点比较。32
关键结果:
  • CVRP-50 的差距从 MCTS-AHD 的 1.54% 降到 0.79%(同表里 ReEvo 3.35%、EoH 4.85%);CVRP-200 从 5.20% 降到 3.93%(表 1,每格 64 个随机实例的测试集)。
  • OP 三个规模的差距是 23.25% / 15.03% / 11.93%,N=200 时优于 MCTS-AHD 的 13.67%;同分布设置上作者只说「与 MCTS-AHD 竞争」,不是全面领先(表 1、§4.1)。
  • 装箱与背包:OBPP 六个测试设置的均值差距 0.72%,MCTS-AHD 0.87%、HSEvo 1.04%、FunSearch 0.99%(表 2);KP 在 N=50/100/200 的差距 0.07% / 0.02% / 0.02%,MCTS-AHD 是 0.13% / 0.05% / 0.04%(表 3)。
  • 三个方向各自有用(CVRP-50 目标值越低越好,五次运行):完整 8.9583±0.0726;去掉 expansion 9.7492、去掉 compression 9.3737、去掉 steering 9.0728;UCB 换随机选择 9.3781;取消停滞重启 9.1399;把 expansion/compression 换成 EC 算子 9.2277(图 3)。
  • 骨架不是主要来源:只保留扰动—改写算子、把 BFS 换成 MCTS 或 CoT-SC,CVRP-50 从 8.9583 变到 9.0728 / 9.3159,KP-100 从 40.2618 降到 40.2584 / 40.2532,作者据此说 BFS 是强默认但非唯一来源(表 13)。32
证据与局限:原文自陈(附录 J):自适应探索控制器仍依赖预定义的调度规则与停滞阈值,虽然 UCB 会跟着近期结果调整,整体探索日程与重启行为是手工设定的,跨任务、跨阶段的灵活性受限;另一个是评估成本——每个扰动出来的想法都要先落成可执行代码再评,哪怕有些想法并不值得实现。我判断:主表用 64 个随机实例的测试集、三次运行、与基线共享种子与初始启发式,这个对照是干净的;但绝对效应量很小(CVRP-50 的差距本来就在 2% 以内,改进 0.75 个百分点),全面比较也只在 GPT-5-nano 上做,换模型的结果被放在附录。另外口径不一致值得记一笔:贡献列表写「11 个组合优化问题设置」,附录 B 却说是「8 个 NP-hard 问题、3 种框架」,按正文列举相加是 9 组问题—框架组合(构造 4 + ACO 3 + GLS 2),我把「11」当作未对上的数字。32
复现:原文未提供代码或数据链接。关键配置:GPT-5-nano、beam size 3、深度 3、前沿 3、启发式池 10、评估 1000 个启发式、LLM 查询上限 5000 次、三次独立运行(消融与曲线为五次);全部计算在单颗 Intel Core i9-12900KF 上完成。
与目标研究线的关系:属 B(轨迹学习与自进化)。对自进化这条线,最可搬的是把「往哪个方向改」显式化成一组枚举原语(expansion / compression / steering)再交给 LLM 改写,而不是让它自由变异——这让每次变异的语义可比,也让 UCB 能在方向之间分配预算。它成立的前提是有一个便宜、确定性的评估函数(这里是求解器给的目标值);没有它,每个方向都得先写成代码再跑,成本会像作者自己承认的那样失控。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
左侧竖排四块:Heuristic Pool(五个圆圈 h1–h5,h3 用绿色高亮表示被选为父代)向下进入 Adaptive Exploration Controller,其中虚线框写着 Perturbation-Rewrite Search in BFS,再向下到 Selection,Selection 有一条回边指回 Heuristic Pool,最后汇到 Termination;最左侧标 Initialize。右侧虚线框放大的是 Perturbation-Rewrite Operators 的三个分支:Compress 让候选思想变得更简单,Expansion 让它更丰富,Steering 做局部微调,每条分支都是「思想(LLM 图标)→ 方向箭头 → 改写(Rewrite)→ 新的可执行候选(绿色圆点)」,中间的饼图表示改动方向的偏移比例。(arXiv:2610.31048)。

33. 命名博弈里共识总流向最强模型:K=2 时胜率 0.67–0.83 · arXiv:2610.31105 · 值得扫读

Who Is the Influencer? Consensus Dynamics in Multi-Agent Systems · arXiv:2610.31105 · 值得扫读
作者与机构:第一作者 Gouki Minegishi(The University of Tokyo);Jingyuan Feng、Hiroki Furuta、Takeshi Kojima、Yusuke Iwasawa、Yutaka Matsuo 均署 The University of Tokyo(Jingyuan Feng 在作者行里未单列机构标注,与其后作者同属一处)。
研究问题与核心方法:
要问的是:一个由不同模型混成的群体,在完全没有正确答案的任务上,最后采纳谁的观点?
任务取最小化的命名博弈:N 个 agent,每人持 K 个无意义的五字母候选标签(如 fmhja、hdsad、vokhg)和 H 格「最近听到」的记忆;每次交互随机抽一个 speaker 和一个 listener,speaker 从记忆里说一个标签,只有 listener 把它追加进记忆、丢掉最旧的一条。
异构化处理是把一个家族的三个模型等份混进同一群体,每个模型预先被自己的标签填满记忆,于是群体一开始完全分歧;最终收敛到哪个标签,就等于哪个模型影响了共识。标签没有语义,预训练知识被排除在解释之外,这一点是整套设计的支点。
默认 K=3、H=20、N=24,一次试验跑 T=60N 次交互(60 轮)。agent 的状态用记忆构成近似(各标签占记忆的比例),这个代理与真实输出概率的 Pearson r 在 18 个模型上是 0.83–0.93;候选标签顺序每次查询都重新打乱,记忆按「最新在前」呈现。
测七个家族、四个开发商,每家族取大中小三档:GPT-5(gpt-5 / mini / nano)、GPT-4.1(含 mini、nano)、Claude 5(Opus 5 / Sonnet 5 / Haiku 4.5)、Gemini(3.8 / 3.5 / 2.5 Flash,按代际排)、Gemma 4(31B / 26B-A4B / E4B)、Qwen 3.5(122B-A10B / 35B-A3B / 9B)、Qwen 2.5(32B / 14B / 7B);每个家族 108 次试验。家族内「更强」对 API 模型用 MMLU-Pro 一类基准分数定义,对开放权重模型用参数量。
解释框架把每个 agent 看成单纯形 Δ^(K−1) 上的粒子,群体在能量 E=−½Σ_k w_{c(k)} x̄_k² 上下坡,每个模型有一个「断言强度」w,从运行数据拟合;w 越大井越深,大 w 的含义是该模型更放大地读自己上下文里的多数派。33
关键结果:
  • 七个家族都出现大 > 中 > 小的胜率排序;K=2 的两方对照里大模型胜率分别是 GPT-5 0.67、Claude 5 0.81、Gemma 4 0.67、Qwen 3.5 0.83(随机水平 0.5,每个群体 12 大 + 12 小)(§3.1、图 5)。
  • Gemma 4 拟合出的断言强度 w=3.44(31B)、3.19(26B-A4B)、2.52(E4B),对应势井深度 −1.72 / −1.59 / −1.26;108 次试验里 78% 收敛到 31B 的顶点(§4.3、图 9)。
  • 模型检验:能量流给出的每轮位移与实际位移相关 r=0.65;三个开放权重家族里 w 的大小顺序与九组两两对比的胜率顺序全部一致(§4.3)。
  • 规模效应有阈值:把 Gemma 4 31B、Qwen 2.5 32B、Qwen 3.5 27B 三个近乎同尺寸的模型混在一起(默认 N=24,按三等等分即各 8 个 agent),胜率 0.39 / 0.36 / 0.25,贴近随机——「影响者效应」要明显的规模差才出现(§3.1、图 6)。
  • 收敛时间随群体与记忆变长:达成共识的交互数约按 N^1.3–N^1.4 增长,N 从 3 到 24 时上升 14–19 倍;随记忆长度约按 H^0.6–H^0.9 增长(§3.2、图 7)。33
证据与局限:原文自陈:群体完全混合、只交换单个标签,没有研究结构化网络或自由文本;没有考察群体拓扑对动力学的影响,也没有在有客观正确答案的设定里验证谁有影响力。我判断:108 次试验 × 7 个家族足以支撑「胜率排序」这个观测,K=2 与「同尺寸混合」两个对照把「规模差」这个条件卡得比较干净;但机制部分是拟合而非干预——w 只在三个开放权重家族上拟合,且「断言强度来自上下文学习」原文明确写成 conjecture(引 induction heads 与 in-context learning 的规模趋势作旁证),没有做消融。站内摘要出入:站内摘要写「参数更多的模型会吸收其他模型的观点」,方向反了——原文是别的模型被拉向强模型的标签,强模型自己的记忆几乎不动;另外「参数更多」只对开放权重家族成立,API 模型没有公开参数量,原文对它们用的是基准分数定义的「更强」。33
复现:原文未提供代码或数据链接。关键配置:K=3、H=20、N=24、T=60N 次交互、每家族 108 次试验;K=2 对照为 12 大 + 12 小;另做 N 与 H 的规模扫描。
与目标研究线的关系:属 B(轨迹学习与自进化)。可直接搬的是一条评测口径:在没有正确答案的「惯例任务」上,用「谁带来的标签最终胜出」测影响力,把模型能力与答案正确性解耦。实用含义有点反直觉——混模型不等于混合观点,按人数配比设计的「多元评审」在能力差足够大时会退化成强模型的独白;要真有多样性,得先缩小参与者之间的能力差,或者给弱模型结构性权重。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
左右两半。左半是实验设定:一个 agent 持 K 个候选标签(示例 [fmhja, hdsad, vokhg],注明无意义)与 H 格记忆(箭头由旧到新);下方画 N 个 agents 经均匀采样抽出 speaker 与 listener,speaker 说一个标签 vokhg,listener 把它追加到记忆。右半回答「谁在共识中有影响力」:辛普森三角形代表意见单纯形 Δ^(K−1),三格分别是 Symmetric Initialization(Opus 独占上顶点,Sonnet 与 Haiku 分占下两顶点)、Under Discussion(点云向中心收缩、轨迹交缠)、Converges to the strongest model(整群被橙圈标出并吸收到 Opus 顶点),底部箭头标 Interaction step。(arXiv:2610.31105)。

34. LLM 群体的分歧约为人类 9 倍,且级联基本不自我纠正 · arXiv:2610.30769 · 精读

LLM Multi-Agent Systems Are Vulnerable to Herding and Runaway Cascades · arXiv:2610.30769 · 精读
作者与机构:第一作者 Farnoosh Hashemi(Cornell University);Shiyu Ji 与 Michael W. Macy 同署 Cornell University,Joice Chen 署 Stanford University。
研究问题与核心方法:
要问的是:当 LLM 智能体能看见别人累计的「推荐数」时,群体选择会不会被早期结果带跑,跑偏之后还能不能自己纠回来——和人类比差多少?
复刻 Music Lab 的设计,换掉被试。13 个模型:5 个推理模型(GPT-5、GPT-5 nano、Gemini 3 Flash、DeepSeek-R1、Claude Sonnet 4.6)与 8 个非推理模型(GPT-4o、GPT-4o mini、Gemma 3 4B/12B/27B、DeepSeek-V3.1、Claude Haiku 4.5、Qwen3-Next 80B),按开发商对推理模式的声明分类;每个模型一个独立群体,评估同一批 48 首不熟悉的歌。
三个条件:independent(不显示别人的推荐数、标题随机排序)、weak influence(显示累计推荐数、标题仍随机排序)、strong influence(显示推荐数并按推荐数降序排列,同时告知标题按推荐数排序)。每个模型建 17 个世界:1 个 independent(1440 个 agent)+ 8 个 weak(各 720)+ 8 个 strong(各 720),每个模型 1440+8×720+8×720=12,960 个 agent,13 个模型合计 168,480 个。
每个 agent 带一个由人口学属性与偏好曲风组成的人格,先挑四首歌,再读歌词决定是否推荐;推荐数每次更新,后续 agent 立刻可见。世界之间互不可见,agent 之间也不通信——影响力只通过累计数字与列表顺序传递,这一点让因果链比较干净。
三个指标:KL 散度衡量影响世界相对 independent 的分布偏移(Jeffreys 平滑,伪计数 0.5,再对八个世界取算术平均);不可预测性 U 是 8 个平行世界两两 28 对的份额绝对差的平均;自我纠正用前后半段的 Spearman 相关差 Δρ=ρ₂−ρ₁,两半都对照 independent 的排序,正数表示后段更贴近歌本身的吸引力。
人类基准直接取原 Music Lab 两个实验的数据(weak 对应实验 1、strong 对应实验 2),但刺激与任务都变了(听歌改为读歌词、下载改为推荐、网格改为文本列表、固定评估四首),原文把这组对比明确限定为定性基准。34
关键结果:
  • 两个影响条件下 13 个模型全部偏离独立判断(每个模型 p<0.001);KL 分歧在弱影响下约为同条件人类基准的 9 倍、强影响下约 4 倍——两个倍数各自比的是该条件下的人类基准,强影响的绝对分歧比弱影响高 65%,倍数反而从 9 倍降到 4 倍,说明人类基准在强影响下也明显更大;非推理模型的分歧是推理模型的 2.4 倍(弱)与 3.2 倍(强)(§3.1、图 2)。
  • 强影响把平均分歧再抬高 65%,13 个模型里 12 个变大(跨模型双侧 Wilcoxon 符号秩检验 p<0.01),唯一例外是 Claude Sonnet 4.6;Gemma 3 4B 的分歧超过人类的 8 倍,GPT-5 最接近人类(§3.1)。
  • 不可预测性:非推理模型在两个影响水平上都约为推理模型的 2 倍、也超过人类的 2 倍;强影响让 13 个模型里 12 个的 U 上升(p<0.001),例外是 Gemini 3 Flash;弱影响下 13 个模型全部高于人类(§3.2、图 3)。
  • 与模型智能分数负相关:13 个模型的 KL 对 Artificial Analysis Intelligence Index 的 Spearman ρ 为 −0.851(强影响)与 −0.551(弱影响,p=0.051);相对不可预测性的 ρ 为 −0.733 与 −0.719(§3.3、图 4)。
  • 自我纠正的差距最刺眼:人类在 16 个影响世界里 15 个出现后段更贴近内在吸引力(弱影响 ρ 0.633→0.773,8/8 世界,p<0.01;强影响 0.575→0.660,7/8 世界,p<0.05);LLM 群体方向不一,强影响下平均变化接近零(§3.4、图 5)。
  • 强影响削弱「份额与内在吸引力」的相关性:13 个模型里 11 个变弱;Gini 系数在强影响下 13/13 上升、弱影响下 12/13 上升(§3.4、§3.5)。
  • 早期动作者比歌本身更能预测后续流行:弱影响下 12/13 个模型、强影响下 13/13 个模型,前 30 个 agent 的份额对后续份额的预测优于对内在吸引力的预测(§3.2)。34
证据与局限:原文自陈:agent 之间不讨论、不保留共享对话历史,只看到累计推荐数;每个群体是单一模型,异质性只来自人格设定;与 Music Lab 的实现差异(读歌词而非听歌、推荐而非下载、固定四首、非排序时用文本列表而非网格)使人与 LLM 的对比只能是定性基准,不能把差异归因于「群体类型」;没有给从众设激励,也没有真值;温度 0.7 与把候选集从 4 首扩到 12 首的稳健性检查只改变幅度、不改变主要模式;原文还明确说结果不能证明更长时间里也绝不会纠正。我判断:13 个模型 × 17 个世界、每条件 8 个平行世界的设计,把这套指标做得比多数「多智能体风险」论述扎实,统计单元放在「世界」与「模型」上而不是把 168,480 个 agent 当独立样本;但每个条件只有 8 个世界,13 个点上的相关分析(ρ=−0.851 之类)属于探索性。人类对比的限定原文写得很清楚,引用时不能写成「LLM 比人类更容易从众 X 倍」这类因果句。34
复现:原文未提供代码或数据链接。关键配置:48 首歌、每个模型 17 个世界(1×1440 + 8×720 + 8×720)、人格生成流程全模型统一、主设置温度 1.0(0.7 作稳健性检查)、recommendation 计数在每个 agent 之后更新。
与目标研究线的关系:属 B(轨迹学习与自进化)。可直接搬的是一组评测口径:用 independent 基线当每个群体的「内在偏好」,用 KL 量化反馈污染,用 28 对平行世界的平均绝对差量化不可预测性,用前后半段 Spearman 差量化自我纠正。这三个量一起能回答「这套多智能体/多轮迭代流程是在收敛到更好的答案,还是在放大早期噪声」——对自动评审、互相看结果的 agent 流水线、推荐式检索都适用。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
三联柱状图 A/B/C,纵轴是 Mean KL Divergence,对数刻度从 10⁻² 到 10¹;紫色柱是 Weak Influence vs. Independent,金色柱是 Strong Influence vs. Independent。A 是汇总:人类数据两根(斜纹填充,明显最低)、Mean Reasoning 与 Mean Non-reasoning 各两根;B 是五个推理模型(GPT-5 nano、GPT-5、Claude Sonnet 4.6、Gemini 3 Flash、DeepSeek-R1),C 是八个非推理模型(GPT-4o mini、GPT-4o、Claude Haiku 4.5、Gemma 3 4B/12B/27B、DeepSeek-V3.1、Qwen3-next-80B)。读法很直接:非推理模型的两根柱整体高于推理模型;人类的两根是所有柱里最低的,弱影响那根与 LLM 相差约一个数量级;多数模型的金柱(强影响)高于紫柱(弱影响),GPT-5 与 Claude Sonnet 4.6 是例外,反了过来。(arXiv:2610.30769)。

六、自然语言处理:评测口径

七篇合起来是一份「你的数字能不能引」的清单。
判官:同一条提示重跑三次,聚合分只差约 1 分,可两两比较平均 21.2% 的提示换边;496 条提示里只有 26.4% 在 17 次运行中结果始终不变。
奖励:成对评估会抵消掉同一提示下所有回答共享的那部分分数,而这部分占跨提示方差的 0.34–0.64,人类参照只有 −0.01 到 0.26。拿奖励模型的分数跨提示用,就会把这个分量当噪声删掉。
基准:98 个里程碑里 25 个藏有描述里没写、也推不出来的依赖,带隐藏名的构建单元失败率 80.6%。工具与措辞:给模型工具之后准确率上去了,措辞敏感度也上去了(分子任务中位极差 0.17 对 0.02)。

35. 只查最终记录会虚高 6.5–12 个百分点:千条印度银行任务基准 · arXiv:2610.30161 · 精读

TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents · arXiv:2610.30161 · 精读
作者与机构:Krishanu Adhikary(National Payments Corporation of India,NPCI);第二作者 Prashant Devadiga,原文只给出通讯邮箱(@npci.org.in),未单列其机构。
研究问题与核心方法:
要问的是:只比对会话结束后的数据库记录,跳过必需步骤的银行客服助手会不会被判成功,这个虚高有多大。
环境是一套合成的印度零售银行:944 名客户,33 个服务工具加 1 个转人工工具。工具里 13 个算「写」,其中 11 个真改记录、2 个只申请支票簿或对账单而不改任何记录;另有 20 个只读,还有 24 篇政策文档可供关键词检索。
任务共 1,000 条,来自 50 个任务族,分四类:sequencing 470 条、edge case 266 条、rare tool 152 条、control 112 条,合计 1,000。gold chain 平均 3.54 次调用,范围 1–6 次;数据分 base 1,000、lite 200、train 150、test 50 四个 split,train 与 test 恰好切分 lite。
评分是两个确定性的通过/失败检查。action check 扫整条轨迹,要求 gold chain 的每次调用都出现,包括政策要求但用户没提的读;final-state check 用同种子 oracle replay 复现期望记录,再比对归一化后的哈希。另加一条 write purity:任何不在 gold chain 里的写都判失败,事后撤销也算失败。
会话上限 200 步或 10 次失败调用,触限即 0 分,不给部分分,四条必需调用只做三条与一条都不做同分。客户由 MiniMax-M2.7 在温度 0 下扮演,按编号步骤逐条提要求,会请助手回到被跳过的步骤;六个模型各跑一次,取各自最确定的采样设置。35
关键结果:
  • 总体通过率 Qwen3.8-27B 0.849、Gemma 4 31B 0.776、26B-A4B 0.714、12B 0.699、E4B 0.607、E2B 0.479(表 1)。
  • 只启用 final-state check 时,同一批会话的通过率变成 0.920 / 0.896 / 0.821 / 0.764 / 0.725 / 0.598,即每个模型虚高 6.5–12.0 个百分点(表 2、§5.2)。
  • 两个检查的分歧是有方向的:三个最强模型「记录对但漏步骤」显著多于「步骤全但记录错」(McNemar p<10⁻⁸);E2B 反向(p<10⁻³);12B(p=0.075)与 E4B(p=0.596)不显著(表 2、§5.3)。
  • 五个 Gemma 模型第二天重跑,通过率变动至多 2.7 个百分点,但有 14–26% 的任务结果翻转(§5.8、附录 G.4)。
  • 四个脚本代理全部零通过:只回复、只查记录不调用、声称已完成、以及把所有写都做一遍(最后这个栽在 write purity)(§5.7)。
  • 分类差异:sequencing 在 0.455–0.921 之间拉得最开;rare tool 每个模型都最低,Gemma 系列 0.388–0.559,Qwen3.8-27B 比 31B 高 0.198;control 112 条在 0.804–0.929 之间且不随规模上升(§5.4、§5.6)。
  • 四调用任务对除 E2B 外的每个模型都最难;五调用任务上最强与最弱模型差 0.614,一调用任务上只差 0.024(§5.5)。35
证据与局限:原文自陈:原文未单列局限。我判断:分数来自 1,000 条任务上每模型一次尝试,全 split 的 95% Wilson 区间约 ±3 点、单类别最多 ±8 点,所以模型间 0.02 级别的差距读不出东西。这套检查本身可信:发布版 scorer 与独立重实现在 600 条录制会话上判定完全一致,5,000 条历史会话的分数被逐条复现;6.5–12.0 点是同一批会话换评分规则重算,不是新跑,因而排除了运行方差。弱点在模型面:六模型里五个是 Gemma 4 家族,规模与家族混在一起,排序不能外推到别家;客户模拟器只用了 MiniMax-M2.7 一种,而原文自己指出模拟用户会误估智能体成功率。35
复现:代码 https://github.com/npci/TauIndianBankBench ,数据 https://huggingface.co/datasets/NPCI/tau-indian-banking 。关键配置:客户模型 MiniMax-M2.7、温度 0;每任务一次尝试;200 步与 10 次失败调用上限;固定时钟与种子化标识符保证 oracle replay 同起点。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬走两点:把「政策要求的读」写进 gold chain 再逐调用匹配,以及 write purity 覆盖「改了又改回来」,这两条正好补上只查终态的盲区。成立条件是任务有书面流程且步骤可枚举;对开放式任务,gold chain 的 1–6 次调用上限本身会把长流程切短。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
六组配对柱状图,横轴为按总体通过率降序排列的六个助手模型(Qwen3.8-27B、Gemma 4 31B、26B-A4B、12B、E4B、E2B),纵轴通过率 0.40–1.00。浅色柱是只用最终状态检查的通过率(0.598–0.920),深色柱是同时检查动作与最终状态的通过率(0.479–0.849),两柱高度差就是该模型的流程违规占比,最大的一处是 31B 的 0.896 对 0.776,即 12.0 个百分点(arXiv:2610.30161)。

36. 同一判官重跑两次:聚合分只动约 1 分,21.2% 的提示换了胜负 · arXiv:2610.30512 · 精读

Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals · arXiv:2610.30512 · 精读
作者与机构:Louise Yorke(University College London,London, UK),单一作者。
研究问题与核心方法:
要问的是:当聚合分几乎不动时,LLM 判官在单条提示上的判定到底稳不稳,改指令带来的变化又该怎么和纯复跑噪声分开。
数据是 Arena-Hard v2.0 的 500 条提示,候选模型 GPT-4.1 mini、基线 o3-mini,两边回答全程固定不动。判官是 GPT-4.1,在 criteria(原版标准 / 准确优先)、输出格式(先推理 / 只给标签)、任务框架(无说明 / 编程助手说明)三个二值选择上做完整的 2×2×2,共八套指令。
每套跑两次,默认套跑三次,共 17 次运行、17,000 次调用,其中 16,996 次解析出判定;全部在同一天用 pinned 的 gpt-4.1-2025-04-14、温度 0 完成。每条提示正反两个顺序各判一次再平均,五级判定重编码为 −2 到 2。
聚合口径是 0–100 的 win-equivalent 分;提示级口径是「换边」——提示从候选胜、基线胜、平局三者之一跳到另一个。敏感性定义为该提示在其余七套指令下相对默认套改判的次数,用于对照的默认分差取自另一次运行。
核心是把「改指令」和「同一套重跑」放在一起比:excess = 两套之间换边率 − 两套各自复跑换边率的平均。区间用按提示重抽的 20,000 次 bootstrap,同一提示的所有运行一起抽。36
关键结果:
  • 八套指令的 win-equivalent 分只落在 49.36–53.87;496 条全程有判定的提示里,只有 131 条(26.4%)在 17 次运行中结果始终不变,另有 6 条每次都判平(§3.1)。
  • 默认套三次运行的聚合分是 52.82、54.02、53.50,相差约 1 分,但两两比较平均有 21.2% 的提示换边(95% CI 18.4–24.1)(§3.1)。
  • 只给标签那套:聚合分掉 4.09,41.6% 的提示换边,超复跑噪声 28.2 个百分点;若改以默认套单独作基准是 +20.5(16.4–24.5),以只给标签套自身作基准是 +36.0,28.2 取两者平均(§3.1、§2.2)。
  • 准确优先那套:26.9% 的提示换边,超噪声 6.7 个百分点,聚合分只动 −0.49;编程助手说明超噪声 3.8(95% CI 1.8–6.0),且集中在数学提示上(§3.1)。
  • 只给标签主要是在造平局:平局率从 18.5% 升到 43.5%,31.4% 的提示变成平局、6.2% 离开平局、只有 4.0% 真正反胜(§3.1、表 2)。
  • 不稳定的位置可预测:在 criteria 对比里,被改判的提示平均绝对边际 0.69,未改判的 1.05(Mann–Whitney p=3.6×10⁻⁹);默认套自己重跑时,边际为 0 的提示 43.4% 改判,最高边际档只有 5.5%,两端约 8:1(§3.2)。
  • 换判官:Gemini 2.5 Flash 让聚合分只动 0.18,却改掉 38.3% 的提示(超噪声 19.0 点);Claude Sonnet 4.5 掉 3.97 分、改 35.0%;跨判官 κ 为 0.435 与 0.549,默认套自比为 0.763(§3.1)。36
证据与局限:原文自陈:原文未单列局限章节,但在 §2.1 与附录中写明——Claude/Gemini 对照只有 5 月各跑一次、且与提供方实现差异混杂;温度 0 不等于托管推理确定;08 月复用未 pinned 的模型名。我判断:主体实验是同一天、同一 pinned 版本、同一批提示的 17 次运行,把复跑噪声直接测出来了,这比常见的「换提示看分数变动」强得多。两点要打折扣:其一,±0.5 分的符号规则把「一序平、一序微胜」记成胜,这类分数在改判样本里占 39.0%(基准 29.5%),改成记平局后默认套复跑分歧从 21.2% 降到 19.3%,方向不变但幅度缩小;其二,判官只有 GPT-4.1 一个,跨判官结论靠 5 月那批一次性运行。36
复现:代码与每次运行的原始判官输出 https://github.com/Yorkel/llm-judge-release 。关键配置:gpt-4.1-2025-04-14、温度 0、Arena-Hard 代码 commit 196f6b8、数据 revision 15f3746;17 次运行同日完成;bootstrap 20,000 次按提示重抽。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走的是一条报告口径:任何「换判官 / 换提示」的分数差,都先减去两套各自的复跑换边率,再报聚合分与提示级换边率两个数。这条在把判官输出当偏好标签或回归测试时尤其要紧——聚合分稳定完全不代表单条判定可重复。成立条件是同一批提示、固定回答、可重复运行;对无法固定回答的在线评测,只能测复跑方差那一半。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
并排两个面板、同一行序、共用 0–50 点量程:左面板是相对默认套的聚合分变化,Accuracy-first 为 −0.49(区间含零,故为空心描边)、Label only 为 −4.09、+ description 为 +0.47;右面板是同一三套的提示级换边率,分别为 26.9%、41.6%、23.3%。灰色虚线加阴影带标出默认套自身的复跑分歧(约 21%)及其 95% 区间,可见右面板的柱子都高于这条线,而左面板的分差有的不到 1 分(arXiv:2610.30512)。
站内摘要出入:摘要称「聚合分数稳定」,原文实测默认套三次重跑的聚合分为 52.82、54.02、53.50,差约 1 分,并非不变;摘要的「控制 Arena-Hard 提示」也应收窄为三条指令选择组成的整包对照——作者明确说明这些比较针对指令包,不是孤立措辞改动。

37. 98 个里程碑中 25 个藏有未言明的依赖:带隐藏名的构建单元失败 80.6% · arXiv:2610.30635 · 值得扫读

What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks · arXiv:2610.30635 · 值得扫读
作者与机构:Fei Ding(Alibaba Group),单一作者,通讯邮箱为个人 Gmail。
研究问题与核心方法:
要问的是:当基准用自然语言写任务、却用上游项目自己的测试打分时,有多少测试依赖了描述里根本没写、也推不出来的名字、路径或字面量,这种依赖会不会真的改变分数与排名。
对象是 SWE-Milestone v1.0.2:7 个仓库(go-zero、navidrome、nushell、ripgrep、scikit-learn、element-web、dubbo)、5 种语言、98 个计分里程碑、580,039 个必需测试,以及 35 次公开发布的端到端运行(Claude Code、Codex、Gemini CLI、OpenHands,共 27 个模型)。
作者把差距形式化为 G(o)=D(o)\F_t:D(o) 是某条测试引用到的全部名字、模块路径与字面量,F_t 是基线代码、规格文本与可推断约定已经固定的部分,剩下的橙色月牙就是「测试要、规格没说」。审计是静态的:每种语言一个抽取器,再由语言无关的核心做差、分类、把必需测试映射到构建单元。
来源分两支:A1/A2 是欠规格(当前或祖先里程碑的 gold 变更引入、但规格未写的名字),B1–B3 是链不一致(非祖先的 gold 变更、未分配的上游提交、自己 gold 里都不存在),后者理论上没人能通过。验证集是按仓库三分层抽的单元,人工盲标;Go 上还做了参照解重命名一个隐藏标识符的反事实。
另有四个基准用同一套审计跑一遍:SWE-EVO、SWE-Chain、SWE-bench Verified、DeepSWE 1.1,只读公开结果,用来检验「差距是否随任务文本的生成方式而变」。37
关键结果:
  • 25/98 个里程碑含至少一个硬隐藏依赖,共 142 个隐藏名;受影响的必需测试占全部 580,039 条的 0.6%,但高度集中:go-zero 15/23 个里程碑、7.1% 的测试落在被阻塞的构建单元里,element-web 7/18、navidrome 2/9、dubbo 1/12,nushell、ripgrep、scikit-learn 为 0(表 2、§6.1)。
  • 机制验证:被硬依赖阻塞的构建单元在 80.6% 的(单元,运行)对上失败,同里程碑内「同样带新测试但无新依赖」的单元只有 48.4%,比值 1.67(95% CI 1.32–2.04);规格里写明了名字的单元是 52.2%,与前者无差(1.08,CI 0.83–1.41);逻辑回归控制单元规模与仓库后优势比 4.64(2.92–7.37)(§6.2)。
  • 反事实最干净:把参照解里一个隐藏标识符改名,128 个 Go 案例里 126 个单元的测试直接编译不过,随后失败的测试占审计预测的 99.5%(§6.2)。
  • 重打分:28 次榜单运行在 full 变体下平均 +0.84 分、resolve +0.47 点,Kendall τ-b 为 0.984(分)与 0.942(resolve);随机删同样多测试的中位 τ 是 0.990 与 0.980,真实 τ 落在随机分布 24.9% / 9.5% 的位置(表 3、§6.3)。
  • 但仓库内分数会动:go-zero 上 35 次运行的平均分从 38.33 升到 42.08,平均 resolve 从 4.35% 升到 5.71%(§6.3)。
  • 审计精度:留出轮次 65 个被标单元精确率 58/65 = 89.2%(95% Wilson 79.4–94.7%),第二轮召回 13/14 = 92.9%(68.5–98.7%),两位标注者 κ=0.92 与 0.96;全量审计在 16 核工作站上 28.1 分钟、峰值 1,333 MiB、不调用任何模型(§6.4)。
  • 跨基准看构造方式:SWE-EVO(规格是发布说明)17/48 被标、SWE-Chain(LLM 摘要)64/155、SWE-bench Verified(人工筛过 issue)3/500、DeepSWE(照着测试写指令)7/113 且复核后只剩 1 个(表 4、§6.5)。37
证据与局限:原文自陈:隐藏依赖是风险而非必然失败(运行会复现 45% 的硬依赖、79% 的可推断依赖);机制分析是观察性的,同里程碑内比较仍可能有难度差,反事实只覆盖 Go;三条规则在开发集上定型,DeepSWE 不算样本外;规格匹配是词法的,会多报与漏报;抽取器只到名字级、不做类型检查。我判断:25/98 与 126/128 这两组数是硬的,尤其后者把「改名即崩」和「审计预测的 99.5% 测试确实崩」对上,几乎排除了混杂。真正需要留神的是排名结论:τ 与随机删除的分布重叠(24.9% / 9.5%),说明「榜单排名不变」是噪声范围内的不变,不能说差距对排名没有影响——仓库内的 38.33→42.08 就是反例。另有一条链不一致证据很值得记住:nushell 的 G05 没有任何一次运行成功,因为它的参照测试用了 G01 才引入的字段。37
复现:原文未提供代码或数据链接(正文多处称会发布审计脚本、3,321 条保守版与 3,964 条完整版 filter list、153 条规范补遗,但未给 URL)。关键配置:留出验证两轮共 65 个被标单元,专家标注按 80 美元/小时;审计可复跑且结果完全一致;全部数据为公开基准(SWE-Milestone 为 MIT)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走的是这套「依赖审计」:在生成规格之后、发布基准之前,静态列出每条计分测试引用的名字与路径,减掉基线、规格与约定能覆盖的部分,剩下的要么写进规格,要么从计分集里剔除;再补一条隔离构建单元,让一个包的编译失败不能抹掉整个里程碑。它成立的条件是测试与实现同语言且可静态解析;对动态语言或靠行为断言的任务,规则要放宽。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
审计流水线总览。左侧三路输入:agent 起始代码 B_t 与当前及祖先规格、参照测试与必需测试 ID、所有里程碑的 gold 状态;中上椭圆是「任务本身固定」的 F_t,中下是五语言抽取器给出的测试依赖 D(o)。两个集合的差构成橙色月牙 G(o)=D(o)\F_t,向右分成「名字/路径缺口→被阻塞构建单元的整批必需测试」与「字面量缺口→单条必需测试」。下方把来源分为欠规格 A1–A2 与链不一致 B1–B3,最终产出审计记录与理由、filter list、规范补遗(arXiv:2610.30635)。

38. 成对评测漏掉的那一项:跨提示方差占比 0.34–0.64,人类参照近 0 · arXiv:2610.31090 · 值得扫读

What Pairwise Evaluation Misses: Reward Scores across Prompts · arXiv:2610.31090 · 值得扫读
作者与机构:Mateusz Modrzejewski、Tomasz Radzikowski(均为 Warsaw University of Technology),两人并列署名,原文未标注共同一作与通讯作者。
研究问题与核心方法:
要问的是:成对比较会把同一提示下所有回答共享的那部分分数抵消掉,这部分到底有没有人类质量含义,跨提示使用奖励分数时会不会出错。
三个数据集:HelpSteer2 验证集 519 条提示、511 个不同首轮、1,038 个回答(其中约 31% 是多轮,故同时报 356 条单轮);HelpSteer 验证集 378 条单轮提示、每条 4 个评分回答;Reddit 的 Stanford Human Preferences 验证集 1,000 帖、每帖 4 条投票评论。共 18 个已发布打分器,核心是六个 7B–8B 奖励模型(三个成对偏好训练、三个属性头点式评分)。
三件工具合起来构成「人类参照审计」。第一件是跨提示方差占比,即单因素随机效应模型的组内相关 ρ=σ²_a/(σ²_a+σ²_e),用均方估;人类评分在同一批回答上的 ρ 就是参照。第二件是同胞评分回归:把某条回答的分数同时回归到它自己的人类评分和同一提示另一条回答(兄弟)的评分上,看系数偏向哪边。第三件是提示替换:把原提示换成固定通用指令、只留提示打分、把回答接到四条随机/近邻/长度匹配的错误提示上、以及三种改写。
最后做一组匹配训练:Qwen3 家族 0.6B 与 1.7B,同为 6,667 对 HelpSteer2 偏好数据,一条回归头拟合 helpfulness 评分,一条 Bradley–Terry 拟合成对偏好标签,五个种子,另加四条控制臂(只用提示内评分差、把提示均值打乱、用评分边际做 BT、把评分二值化)分离损失与目标信息。38
关键结果:
  • 六个核心奖励模型的跨提示方差占比在 HelpSteer2 全量提示上是 0.34–0.64,在更干净的单轮子集上是 0.28–0.45;同一批回答上人类评分是 −0.01(95% CI −0.11–0.10),HelpSteer 的人类参照是 0.26(0.20–0.33)(表 1、§5、§6)。
  • 换成固定通用指令后,六个模型里五个的占比变化在 0.10 以内,URM 反而上升 0.26 到 0.59;通用提示下的提示均值与原提示均值的相关只有 0.13–0.81(§6、表 14)。
  • HelpSteer 上 18 个打分器的原提示占比 0.45–0.65,13 个在通用提示下 0.44–0.79,都高于人类的 0.26;Reddit 上只有 0.15–0.30,低于帖间票数占比(§6)。
  • 人类一致性检验:HelpSteer 上提示间斜率 0.53–0.75 高于提示内斜率 0.34–0.54,配对差 0.20–0.30 且区间全在零以上;换通用提示后三个模型的提示间斜率落到零附近(§7)。
  • 中心化不是免费的:减去提示均值后,与原始人类评分的相关在每个模型上下降 0.08–0.15;在 HelpSteer 上保留分数最高的 30%,平均 helpfulness 反而降 0.14–0.21 分,改用 12 条独立生成回答估均值仍降 0.05–0.33 分(§8、图 3)。
  • 匹配训练:回归臂的错误提示惩罚 2.3–2.7 个标准差,BT 臂 1.6–2.1(0.6B,五个种子无重叠,单侧置换 p=0.004),1.7B 为 2.5–2.9 对 1.7–2.3;把提示均值在提示间打乱的臂在 1.7B 仍有 2.91 的惩罚,但占比降到 0.20(真均值 0.33、无信息 0.46)(§9、图 4)。
  • 打分口径可信:与已发表的 RewardBench/RewardBench 2 分数相比,12 次比较全部在 1.0 分以内,中位差 0.35(§4)。38
证据与局限:原文自陈:只用英文评分集,每提示 2–4 个回答,占比估计精度有限;HelpSteer2 的回答来自少数系统且未逐条公开来源模型;两个 HelpSteer 参照在回答来源与评分协议上同时不同,无法分离;噪声校正后的 HelpSteer 参照是从 HelpSteer2 借来的信度,只能当敏感性分析(0.32–0.55);每个模型只确定性打一次分,区间只反映提示抽样;特征探针只解释了一部分跨提示方差。我判断:所谓「人类近 0」是 HelpSteer2 的评分协议产物(同一标注者连续评两条、留一相关 −0.08),原文自己点明,因此 0.34–0.64 应读成「相对这份参照」,不能读成「模型错、人类对」。真正能直接用的是中心化那组数:在一个明确的全局筛选目标上,去均值会让被选中集合的平均 helpfulness 掉 0.14–0.21,且换成独立参照池也掉——这说明跨提示分量里确实混着有用信息,不能一律当偏置减掉。38
复现:原文未提供代码或数据链接(文末称计划发布评分与分析代码、每条被评回答的分数与来源标识、生成的改写与相关任务提示集)。关键配置:Qwen3 0.6B/1.7B、五个种子、6,667 对 HelpSteer2 训练偏好;bootstrap 2,000 次(同胞回归 5,000 次);三个数据集分别为 CC-BY-4.0、CC-BY-4.0 与 Reddit 条款。
与目标研究线的关系:属 A(长程任务的训练与评估),对 B 的筛选环节直接可用。可搬走的是「三件事分开报」:跨提示方差占比、对错误提示的敏感度、对全局选择是否有用。如果只用单一 pairwise 准确率验收奖励模型,共享分量永远测不到;但若因此就做全中心化,按本文数据会损失 0.14–0.21 分 helpfulness,除非先在目标筛选任务上验证。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
两个面板、同一批模型行。(a) 跨提示方差占比,横轴 0–0.8,实心蓝点为原提示、空心橙点为固定通用指令,两条竖虚线分别标出 HelpSteer2 验证集(约 0.0)与 HelpSteer(约 0.26)的人类参照;六个核心 7–8B 模型全部落在 0.34–0.64,通用提示下多数只小幅左移。(b) 错误提示下的匹配边际,横轴 0–4 个标准差,蓝点为四条随机错误提示、橙点为三个相关任务,多数模型在 1.5–3.8 个标准差之间(arXiv:2610.31090)。

39. 工具抬高准确率也拉宽措辞敏感度:分子任务中位极差 0.17 对 0.02 · arXiv:2610.31148 · 值得扫读

Prompt Sensitivity in Tool-Augmented Model Comparisons · arXiv:2610.31148 · 值得扫读
作者与机构:Mateusz Modrzejewski、Tomasz Radzikowski(Institute of Computer Science, Warsaw University of Technology),两人并列署名,原文未标注共同一作与通讯作者。
研究问题与核心方法:
要问的是:给模型工具之后,两个模型之间的比较是变稳了还是更依赖问题措辞,这个变化到底来自读答案的方式、来自推理,还是来自「模型自己决定要不要调工具」。
六个开源指令模型(Qwen3-8B、Phi-4、Llama-3.1-8B-Instruct、Gemma-3-12B、Mistral-Small-24B、Qwen3-30B-A3B),另加 Qwen3-4B/14B/32B 规模序列与 Qwen2.5-72B(这四档只在分子、图、音乐三个域上跑);五个领域:分子(RDKit 六种属性,每种 84 条)、图(5–20 节点随机图,每任务 84 条)、音乐(ABC-Eval 361 条)、表格(FinQA 500 条)、数学(MATH-500 336 条)。每个条目有唯一规范形式,工具读规范形式,因此工具报告在所有措辞与书写形式下完全相同。
条件是被拆开的一组对照:首 token 读字母、答案行读、答案行前自由推理、把工具报告直接塞进提示(supplied report)、纯文本工具循环、同样的循环但工具一律回「no information」、原生工具调用接口、强制调用。每个条件跑五种措辞,字母域还跑多种书写形式。
度量是两个模型准确率差在措辞集上的极差 S_ab=max D_ab(w)−min D_ab(w),同时报每个模型自己的准确率极差;工具条件里把准确率按「是否调用」分解为调用频率分量与条件准确率分量(Shapley 两项分摊),再用七种对调用行为的干预(改接口、改工具描述、强制调用、去输出子句、给错报告等)定位来源。39
关键结果:
  • 分子任务上,纯文本工具循环的中位极差 0.17,同样报告直接给出时只有 0.02:信息一样,差别只在模型要不要自己去取(§1、§4)。
  • 相对无工具推理,循环把 60 个(模型对 × 书写形式)行里的 37 行极差拉宽;各领域中位变化为分子 0.12、表格 0.08、音乐 0.06、数学 0.04、图 0.03,0.73–0.93 的配对向上(§4)。
  • 工具条件比「报告直给」更宽的占 54/60 行(分子域,模型对 × 书写形式)(§5)。
  • 读法本身带敏感度:改成在答案行读,45 个图域行里 36 行变窄,中位极差从 0.25 降到 0.05;两个模型首 token 字母质量为 1.00 却仍分别损失 0.21 与 0.33 的中位极差(§4)。
  • 直给报告时没有任何模型在字母域的准确率极差超过 0.06;工具条件下 Llama-3.1-8B 在图上是 0.24、Qwen3-30B-A3B 在数学上是 0.36,被拉宽的配对正是含这类模型的配对(§4)。
  • 干预能救一部分:分子任务上原生接口与第二种工具描述在受测模型组里不再检出扩大;强制调用与去掉输出子句只对部分模型有效;报告给错会缩小扩大幅度但调用频率不变(§5)。
  • 措辞越多越糟:同一批配对换十种措辞,工具条件的极差中位放大 2.88 倍,而固定读法只放大 1.12 倍(§4)。39
证据与局限:原文自陈:极差是五种措辞上的范围统计,措辞越多越大,五种不足以推断新措辞;区间只反映条目抽样;三个模型用 8-bit 权重;工具读规范形式且分子/图任务由算子直接给出答案,因此结论不涉及工具发现与参数构造;五个领域是按固定读法极差入选的、音乐还被豁免,不是任务抽样;描述变体与原生接口只跑了三个模型;调用频率分量是代数归因而非因果效应;措辞全是英文。我判断:supplied report 与 tools 的对照是本文最干净的一手证据——同一份报告、同一题、同一措辞,唯一差别是模型是否自己去取,所以「工具不保证比较稳定」这个方向站得住。数值则要小心:中位极差是配对极差的中位数,几对模型、一个离群措辞就能改变它;而且六个模型里有两个是 Qwen3 家族,扩大集中在含特定模型的配对上,不宜读成普遍规律。39
复现:原文未提供代码或数据链接。关键配置:六模型固定 revision、贪心解码、vLLM;字母域每步 64 token、数字域 256 token,回合预算按域 256–1,536 token;bootstrap 1,000 次按条目重抽,配对对比做 Holm 校正。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走三条诊断:多选分数在答案行读而非首 token;同一批模型对在多种措辞下同时报准确率、配对差与调用频率;再补一个 supplied report 条件,用来区分「不知道」与「没去取」。这三条在带检索或代码解释器的智能体评测里同样成立,前提是工具输出对同一输入确定。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
两个面板。(a) 三个字母域(分子、图、音乐)的中位措辞极差,横轴分组、纵轴 0–0.45,每组四根柱依次为固定读法、推理、报告直给、工具循环:分子一组的工具柱接近 0.17,而报告直给柱只有 0.02 左右,音乐一组工具柱约 0.14。(b) 每个点是一对模型、一种书写形式,纵轴为「工具循环减推理」的极差变化,黑横线为各域中位:分子约 0.12,表格约 0.08,音乐约 0.06,数学约 0.04,图约 0.03,零线以上占绝大多数(arXiv:2610.31148)。

40. 判官身份解释的方差约为提示策略的 7 倍:η²=0.087 对 0.012 · arXiv:2610.31172 · 值得扫读

Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness · arXiv:2610.31172 · 值得扫读
作者与机构:Asal Mehrabi(University of Amsterdam)、Mohammad Aliannejadi(University of Amsterdam)、Clemencia Siro(Centrum Wiskunde & Informatica, CWI);三位作者分属阿姆斯特丹两家机构。
研究问题与核心方法:
要问的是:Chain-of-Thought、角色设定这类在英文基准上推荐的判官提示策略,换判官、换语言之后还有效吗,效果方向会不会反。
矩阵是 9 种提示策略 × 4 个开源判官(Aya Expanse 32B、Gemma 3 27B、Qwen2.5 32B、Qwen2.5 72B)× 27 种语言 × 4 类任务 × 13 个数据集,共 1.07M 条逐点评分。语言按资源分四档:高 4 种(英法德西)、中 3 种(加泰罗尼亚语、波斯语、阿拉伯语)、中低 2 种(豪萨语、斯瓦希里语)、低 18 种。
被评对象是金参考输出(SSA-MTE 除外),即生成质量被固定,分数差异只能归给判官配置。每套判官—策略组合看同样的原文、候选与任务级评分细则,按 1–5 整体分打分。策略分两组:语言不变的(zero-shot、few-shot、Prometheus 式、CoT 等)与语言可变的(目标语言提示、跨语言提示等)。
分析用二元方差分析拆 judge 与 strategy 及其交互的 η²,语言与资源档另做一元方差分析;跨判官一致性用策略排序的 Spearman ρ 与策略均分的 Pearson r;外部效度在 SSA-MTE、SummEval、WMT MQM 三处与人工评分对齐。40
关键结果:
  • 判官身份解释 η²=0.087 的分数方差,提示策略只有 0.012,约 7:1;judge×strategy 交互 η²=0.056,比策略主效应还大,所有项 p<0.001(§4.1、表 4)。
  • 分任务看结构完全不同:摘要任务上判官解释 0.438;问答上交互 0.247 对判官 0.251;数学上 0.297 对 0.222;机器翻译上语言解释 0.325 而判官只有 0.006(§4.1)。
  • 目标语言提示在同一条输入上让 Gemma 3 平均升 0.83、Aya Expanse 降 0.32,两个 Qwen 判官分别为 −0.20 与 −0.10;Aya 的逐语言最大降幅是约鲁巴语 −2.16,其次豪萨语 −1.56、斯瓦希里语 −1.20(§4.2、图 2)。
  • 跨判官的策略排序一致性随资源下降:高资源机器翻译 ρ=0.46,低资源档 ρ=0.04;摘要四个档位里三个为负(−0.30 到 −0.02),问答在 −0.08 到 +0.02 之间(表 5、§4.2)。
  • 判官内部也不一致:两个 Qwen 的策略均分相关 r=0.819,Gemma 与其余三个只有 −0.173 到 0.025(§4.2)。
  • 与人工评分对齐:所有判官—策略对的逐条 Spearman 在 0.22–0.46(p<0.001),跨数据集均值最高是 Role Prompting 0.483、最低是 Trans-Eval 0.321;SSA-MTE 上 Monolingual 对 Gemma 是 0.455、对 Aya 只有 0.219(§4.4、表 8)。
  • 天花板效应:金参考输出让问答与参考型机器翻译的平均分高于 4.5,策略可发挥的区间被压窄;改用 AfroBench 真实系统输出后同一批判官的分布明显更宽(§4、附录 J)。40
证据与局限:原文自陈:金参考评测隔离了判官行为但也制造天花板,问答与参考型机器翻译难以区分策略;目标语言提示只对部分语言做过母语者校验,Monolingual 效应可能掺入提示质量;语言分布偏低资源,跨档比较需谨慎,二元方差分析不含语言交互;SummEval 与 WMT MQM 只有英文;只评了四个开源判官,闭源只在附录里做探索性测试。我判断:1.07M 条评分让 η² 这类比值估得很稳,「判官比策略重要」在本设定下成立;但把 0.087 对 0.012 当成普适排序不妥,因为被评对象是金参考、分数挤在 4.5 以上,策略差异被系统性压小,作者自己在附录 J 用真实系统输出补了这一点。另外三档语言的样本量差得远(高资源 4 种、低资源 18 种),ρ 从 0.46 掉到 0.04 里既有语言因素也有样本构成因素。40
复现:原文未提供代码或数据链接(正文两处称将发布 1.07M 条逐点评分、维度分与提示模板,但未给 URL)。关键配置:vLLM,A100/H100;除 self-consistency 外温度 0、top-p=1.0,self-consistency 用温度 0.7 采三次取众数;全程 seed 42;每个数据集—语言切分最多随机抽 200 条。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走的是报告方式:判官与提示要成对报,跨研究比较必须同时交代判官型号与提示配置;同一套评分细则下,策略排序不能从一篇论文搬到另一篇。做法上先固定判官再选策略,且按语言分档看一致性,而不是只看总均值——本文的负 ρ 全出现在摘要任务,正是被总均值掩掉的那类。
来源:公众号条目 · 官网条目 · arXiv 原文

41. 1,913 条主张上直接回答问题的反而更不准,聚合分把它盖住 · arXiv:2610.30504 · 邻近跟踪

Rethinking the Evaluation of LLM Fact-Checkers · arXiv:2610.30504 · 邻近跟踪
作者与机构:Ayana Niwa(MBZUAI)、Miyu Yamada(Science Tokyo)、Kouta Nakayama(NII-LLMC)、Masahiro Kaneko(MBZUAI)、Hisami Suzuki(NII-LLMC)、Satoshi Sekine(NII-LLMC)。
研究问题与核心方法:
要问的是:一个事实核查基准的分数,被「问哪些问题、在什么条件下判、哪些来源算证据」这三个设计决定影响多大,现有基准有没有把三件事都说清。
数据从 JSocialFact 的 385 个问题里随机抽 85 个(问题源自日本社交媒体上实际流传的误导信息),每个问题用 11 个模型池中随机两个各生成一条回答,共 170 条;用 Meta-Llama-3-8B-Instruct 按五步提示把回答拆成原子主张,得到 1,913 条,平均每条回答 11.3 条(范围 1–24)。
证据侧先固定允许域:1397 个域名,来自四组——政府与法人域(go.jp、lg.jp、ac.jp、co.jp、or.jp)、日本新闻协会 73 家媒体、东京证券交易所 1,029 家上市公司、以及日文维基上出现两次以上的 322 个引用域;另外排除两个事实核查站以免泄题。每条主张用 LLM 生成的检索词走 Google Custom Search(地区设为日本),取前 30 条结果再筛到最多 10 个候选页。
标注由三名专业标注者独立完成,每条给事实性(Supported / Refuted / NotEnoughInfo,另有 Unevaluable、Unclear)与重要性(Main / Sub / Irrelevant),并记录所用 URL 与原文片段;事实性按标注时的参考时间定义,参考时间会写进提示。评测时在 Claim / Time / Q&R 三种输入范围 × None / Reference / Full / Pages 四种证据形态上交叉,六模型各跑一遍。41
关键结果:
  • 标签分布:Supported 929 条(48.6%)、Refuted 250 条(13.1%)、NotEnoughInfo 559 条(29.2%)、Unevaluable 175 条(9.1%);在可判真假的 1,179 条里 21% 是错的。重要性上 Sub 1,250 条(65.3%)、Main 483 条(25.2%)、Irrelevant 180 条(9.4%)(表 3、§2.3)。
  • 六个模型全部在 Main 上比 Sub 差,差距 0.036–0.124,其中三个(Llama-3.1-Swallow、Mistral-Nemo-Ja、Sonnet 5)显著;两组标签分布几乎一样,差距不是标签失衡造成的(表 7、§3.3)。
  • 聚合分掩盖了这一点:四个最好模型的总体准确率彼此相差都在 0.005 以内,而总体最高的 Sonnet 5 在 Main 上只有 0.670,低于其余三个的 0.697–0.710(§3.3)。
  • 证据形态决定模型看起来像不像同一档:给定判定段落时六模型宏 F1 落在 0.691–0.770(极差 0.08),改成必须自己在候选页里找,落到 0.458–0.705(极差 0.25),正好三倍;两个闭源模型在这一步几乎不掉(0.001–0.013,不显著),四个开源模型掉 0.046–0.111(§3.3、图 3)。
  • 参考时间:46% 的问题答案会随时间改变;把采集日期写进提示让宏 F1 最多变 0.063,且只对六个模型中的三个显著(Qwen3-Swallow、Mistral-Nemo-Ja、Llama-3.1-Swallow)(§3.3)。
  • 加上问题与整条回答(Q&R):两个闭源模型几乎不受影响,四个开源模型在所有证据条件下都明显下降,并强烈偏向 Supported——例如 LLM-jp-4 在 Reference 条件下把 54% 的主张判为 Supported,加 Q&R 后升到 93%,尽管提示明确要求只判目标主张(§3.3)。
  • 标注质量与成本:两名额外标注者重标 50 条,三套标签在事实性上一致 94%、重要性 96%;自动合并规则直接定下 98% 的事实性标签与 97% 的重要性标签,其余由两名额外标注者讨论定夺;总标注费约 230 万日元,5,856 次标注单价约 390 日元,折合每条主张约 7.50 美元(§2.2、伦理声明)。41
证据与局限:原文自陈:证据质量只在域名层面受控,同域内页面质量差异没有建模;参考时间被固定在证据检索日,无法复现任意过去或未来时点的判断,事实快速变化时金标会过期;规模只有 85 个问题、1,913 条主张,小于 FEVER 或 AVeriTeC,因此小差异不应读成排名;数据集不得当作事实知识来源。我判断:条件矩阵是本文最有价值的部分——同一套金标可以在 3×4 种输入与证据条件下重算,把「模型能力的哪一段」暴露出来;但 Main 子集只有 460 条,各模型 Main 准确率 0.65–0.71,0.036 的差距已接近该子集样本量能分辨的下限,只有三个模型显著也印证了这点。「开源模型偏向 Supported」是观察到的输出分布,原文没有做因果归因,照引时应写成关联。整篇是日语场景,域名单、问题来源、标注成本都绑定日本,换语言要重建。41
复现:数据 https://huggingface.co/datasets/llm-jp/JSFactCheckBench (自定义条款:可用于改进 LLM 安全性,含商用;不得再分发数据集本身,派生数据需署名)。代码未提供链接。关键配置:从 385 个问题里随机抽 85 个、每问题生成两条回答;每条主张最多 10 个证据候选页;标注在 Label Studio 完成,三名标注者,合并时 Supported/Refuted 优先于 NotEnoughInfo、冲突取多数。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走的是这条口径:把「直接回答问题的主张」与「补充信息」分开算分,再分别报给定段落与自选来源两种证据条件——只在给定段落下评测,会把六模型压成 0.08 的极差,看不出挑选来源的能力。它对多语言场景的提醒也直接:判分条件写进提示(参考时间、输入范围)本身就会移动分数,最多 0.063,而且只对部分模型显著,所以条件必须与分数一起报。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
三步构建流程图。① 收集主张:SNS 上的真实问题(「叫救护车要付钱吗?」)与 LLM 回答,回答被切成 Claim 1(「救护车并非免费」)、Claim 2(「运营救护车有成本」)等原子主张。② 构造证据候选:由检索词拉回候选页,逐页给可信度打勾或打叉——报纸与都道府县政府页为勾,个人博客与事实核查站为叉。③ 人工标注:三名标注者对 Claim 1 汇出最终标签 Refuted,并记录所用证据与引文(arXiv:2610.30504)。
站内摘要出入:摘要称现有基准「未明确关键设计决策」,原文的说法是没有任何现有基准同时规定三项(Table 1 里 AVeriTeC 有证据截止时间、Factcheck-Bench 标了重要性,只算部分满足)。

七、自然语言处理:长程执行、反馈与状态

七篇盯长程执行里三件常被混为一谈的事:规划、状态、反馈。
规划侧,MemPlan 把经典规划器放回决策位、LLM 只做接地,ALFWorld 六个任务类型全对、在线 LLM token 0.906M;它比 LLM-DP(另一条把 PDDL 规划器接进 LLM 智能体的路线,用 LLM 生成的信念态采样世界状态)更费在线 token(0.906M 对 0.633M),换来的是平均步数从 13.16 降到 6.91。
状态侧最值得记:7 个模型 125 个探针上,约束的严格留存从 62.4% 到 100%,88.6% 的失败是「记得却不遵守」而不是忘了。
反馈与检索侧四篇各补一块:反思引导的信用分配、记忆使用的偏好奖励、证据位置偏差在不同序列混合器上的差异,以及改一版文档到底要重算多少 embedding。

42. 固定 PDDL 域配正负记忆:ALFWorld 134 集全对,步数 6.91 · arXiv:2610.30379 · 精读

MemPlan: Memory-Conditioned PDDL Planning for Partially Observable Text Environments · arXiv:2610.30379 · 精读
作者与机构:第一作者 Tengwei Song(King Abdullah University of Science and Technology,KAUST;同时挂 Åbo Akademi University 与 ELLIS Institute Finland,脚注注明工作在 KAUST 期间完成);通讯作者 Robert Hoehndorf(KAUST)。无其他合作单位。
研究问题与核心方法:
要问的是:在不完全可观测的文本环境里,能不能让固定的经典规划器承担长程决策,而把 LLM 压到"读观测、接地动作"这一层?
MemPlan 假设事先拿到一个固定的 PDDL 域 D(对象类型、谓词、动作模式、前置条件与效果),评测期不改域、不让 LLM 在线重写 PDDL 文件。每一步它用 BuildProblem(D, g, F_t, H_t, M_t⁺, M_t⁻) 重建一个闭合的 PDDL 问题实例,交给 Fast Downward 求解,只执行计划里的第一个符号动作 u_t,再按反馈重建。
正记忆 M⁺ 是类型化有向多重图:通过 schema 校验的三元组建一条带关系标签的边。负记忆 M⁻ 只收"搜过且没找到"这类被反馈否证的假设,用 searched、not_at 之类的排除谓词编进问题,防止重复试错。目标需要但尚未落实的实体用只在规划内部存在的占位符 z 表示,候选假设是 (z, r, v) 三元组。
假设排序不经过 LLM:用冻结的 mContriever 算"目标加占位符"查询与候选三元组(含正记忆图一跳邻域)的余弦相似度,min–max 归一后转成检查动作的代价 κ_t(h)=κ_base+⌈λ·max(0, τ−Score)⌉,取 κ_base=1、τ=0.50、λ=10。规划器是 satisficing 配置,代价只偏置搜索顺序,不保证全局最优。
语言—符号接口用 Qwen2.5-7B 在 TextWorld 的 cook 与 hunt 上监督微调后冻结:17,000 条"观测→三元组"加 9,600 条"符号动作→命令"样例,训练 2 个 epoch、学习率 5×10⁻⁵、每卡 batch 4 配 4 步梯度累积。ALFWorld 与 Robotouille 的接口数据只用于诊断,不参与训练、选点或调参。
评测覆盖 ALFWorld 134 集、TextWorld 7 个任务实例、Robotouille 151 个任务—种子运行;Robotouille 先在每个任务配置内对种子取平均,再跨配置宏平均。42
关键结果:
  • ALFWorld 六个任务类型全对:MemPlan overall 100%、平均 episode 6.91 步、在线 LLM token 0.906M;同一 134 集协议下最强的前沿 ReAct(GPT-5.1)为 98.5%、10.92 步、2.74M token,LLM-DP 为 96.0%、13.16 步、0.633M token(表 1、表 2)。
  • 相对 PDDL 改写基线也占优:PDDLEGO+-Native 94.8%、14.32 步、2.31M token;PDDLEGO+-Shared 92.5%、15.47 步、1.82M token(表 2)。token 最低的仍是 LLM-DP,MemPlan 只在成功率与步数上领先它。
  • Robotouille 上异步设置拉得更开:MemPlan 71.2%(同步)/41.3%(异步),ReAct(GPT-5.1)63.6%/24.7%,LLM-DP 57.9%/18.5%(表 3)。
  • 消融(7 个 TextWorld 实例 × 3 种子 = 21 次运行)里占位符最关键:去掉后归一化得分从 1.00 掉到 0.27,并出现 1.0 次/次的终止性规划死路;去掉负记忆掉到 0.64、步骤涨到 60.0、重复假设检查 12.0 次/次(表 4)。
  • 均匀代价假设仍保持 1.00 分,但步骤从 31.0 涨到 38.0,说明图记忆代价主要省交互步数,不提升可解性(表 4)。
  • 每步重规划不烧 token:MemPlan 每 episode 6.91 次 planner 调用、16.87 次 LLM 调用、6.9k token、非法动作率 0.00;ReAct(GPT-4o)是 38.18 步、39.78 次 LLM 调用、37.9k token(表 5)。
  • TextWorld 的 PDDL 域由 GPT-5.1 离线起草,7 个里 5 个(71.4%)一次通过校验,另两个经一轮离线修复后固定,评测期不再改。42
证据与局限:
原文自陈三点:需要任务级 PDDL 域事先可用;负记忆是硬排除,反馈含糊或解析出错时会把有效候选过早封掉;评测限于有受限命令集的模拟文本环境,不涉及安全关键部署、真实机器人或开放式环境。
我判断:100% 与 6.91 步是本单元里最干净的效率数字,但对手已接近天花板(ReAct GPT-5.1 98.5%),成功率只差 1.5 个百分点,134 集样本下不宜当因果读;真正的差距在步数与 token。TextWorld 记忆体对比只有 7 个实例,作者自己只把它当该设定内的证据;消融的 21 次运行没给方差,0.64 与 0.27 这种差距要连带附录的 bootstrap 区间一起看。另有一处隐性前提:PDDL 域是 LLM 离线生成的,虽声明不看测试实例、对象摆放与 oracle 轨迹,域本身的质量仍是整条流水线的上限。42
复现:代码与数据 https://github.com/tewiSong/MemPlan。接口微调在 8 张 V100-SXM2(32GB)上跑 62.4 小时、约 500 GPU-hours;2 epoch、学习率 5×10⁻⁵、每卡 batch 4、梯度累积 4、每 166 步存一个 checkpoint。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬的是"把记忆编译成规划器可见的代价与约束"这一口径:正记忆只做假设检查的代价偏置,负记忆只做排除约束,两者都不进 LLM 上下文,于是状态保持与 token 成本解耦。它的成立条件很硬——必须有覆盖任务对象与动作的 PDDL 域,且环境能给出可枚举的可执行命令集;纯自然语言、无命令集的环境这套接口落不了地。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
图里是一条闭环流水线:顶部三框给出 Task goal g("goal: grill red tuna and finish meal")、Observation o_t("see: red tuna; knife; oven; stove")与 Admissible A_t(look / move-to / take / open / cook 等命令)。左侧语言—符号接口把观测解析成事实;中间 PDDL Problem 框内写 (:metric minimize (total-cost)),三条 try_h1/try_h2/try_h3 各挂 κ(h1)/κ(h2)/κ(h1) 的代价,旁边候选假设框给出 h1(unknown_grill_1, at, kitchen);上方绿框为正记忆 M⁺(red_tuna, at, supermarket_et_showcase),红框为负记忆 M⁻(unknown_grill_1, searched, d_kitchen)。Fast Downward 输出首个符号动作 u_t(示例 "search kitchen"),再由接口接地成命令;右侧 Environment 标 "Not found",底部虚线回环写着 Update Memory and Re-plan。(arXiv:2610.30379)。

43. SARL:45K 样本、10 个基准均值 0.429,比最强基线高 24.3% · arXiv:2610.30435 · 精读

Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models · arXiv:2610.30435 · 精读
作者与机构:第一作者 Taewhoo Lee(Amazon;Korea University,脚注注明工作完成于入职 Amazon 之前);共同通讯作者 Minbyul Jeong(Meridian Intelligence Global Inc)与 Jaewoo Kang(AIGEN Sciences;Korea University)。其他作者分属 Korea University、AIGEN Sciences、University of Massachusetts Amherst。
研究问题与核心方法:
要问的是:搜索智能体缺的"搜索状态感知"——不知道自己已经拿到什么、还缺什么——能不能在训练期学会,而不是靠推理期的额外脚手架?
SARL 在标准 think-search-answer 回路之后加一个自评估阶段:同一条策略在隔离上下文里重读完整轨迹,输出结构化评估(题目有哪几条硬约束、哪些已被证据解决)并以 COMPLETE / INCOMPLETE 收尾。判 INCOMPLETE 就把整段评估作为 user 消息注回原上下文,让模型继续 think、search 再作答,直到 COMPLETE 或轮数上限。
奖励是两项之和:R_total = r_final·α^(n−1) + λ·r_assess,n 是自评估次数,结果奖励被 α^(n−1) 指数折扣,自检越多折扣越狠。r_assess 按答案对错的转移给分:incorrect→correct 与 correct→correct 都是 1.0,incorrect→incorrect 为 −0.1,correct→incorrect 为 −2.0。
策略优化用 GRPO,非对称裁剪 ϵ⁻=0.2、ϵ⁺=0.28,去掉标准差归一,用固定分母 L_max 代替按轨迹长度归一,并去掉 KL 项;超出原上下文长度的轨迹直接屏蔽梯度。
训练集 45K:NQ 15K、HotpotQA 15K、ASearcher 15K(其中 8,537 条原始 compose_chain_qa 加 6,463 条按 ASearcher 流程合成)。基座 Qwen2.5-7B,8 张 B200 训一个 epoch,每问采 5 条轨迹,最大 32 轮;检索用 e5-base-v2 打 2018 年 12 月维基 dump、每题 top-3,BrowseComp-Plus 换 Qwen3-Embedding-8B 与自建 dump。
评测 10 个基准、每基准 1,000 例,GPT-4.1 做 judge、报 avg@4,α=0.8、λ=0.5。43
关键结果:
  • 10 个基准均值 0.429,比最强的单一基线 ASearcher(0.345)相对高 24.3%;次强的 Search-R1 为 0.342,ReSeek 0.308,AutoRefine 0.260(表 1)。
  • 分层看增益全压在复杂任务:多跳平均 +35.9%、深度研究 +27.9%、单跳只有 +3.9%;Musique 0.272 对最强基线 0.172(+58.1%),FRAMES 0.261 对 0.176(+48.3%)(§3.2)。
  • 对更宽的范式也不输:与两阶段 SFT+RL 的 RAG-R1 在 7 个共享基准上 0.554 对 0.449(+23.4%);与四智能体框架 MA-RAG 比,HotpotQA 0.614 对 8B 版 0.403、70B 版 0.507,2Wiki 0.645 对 0.318、0.431(§3.2、附录 A.7)。
  • 长程训练稳定性是主卖点:32 轮上限下 AutoRefine 崩到平均不到一个搜索轮,ReSeek 后期验证分趋零;SARL 的唯一搜索查询数在训练后段升到平均 6 条以上,文档召回同步上升,两条基线则持平或下降(图 3)。
  • 奖励消融给出单调排序:只加自评估会在中段见顶后急跌,加惩罚缓解,再加细粒度奖励才稳定;全量配置的唯一搜索数比"只自评估"高出一倍以上(图 4、§4.2)。
  • 跨家族:Llama-3.1-8B-Instruct 上 GRPO 从 52.3→51.3→44.4 崩掉,SARL 从 51.2→54.3,step 300 时平均分差 +9.9(§4.3)。
  • 跨规模:Qwen2.5-14B 每个采样步、每个基准都高于 7B,差距从 step 100 的 +6.4 收窄到 step 300 的 +3.6,ASearcher 上仍有 +5.6。43
证据与局限:
原文自陈(附录 A.1):依赖基座模型判断"证据是否已足够",这一前提并非普遍成立;评测只覆盖搜索型问答,代码生成、数学推理、通用 agent 规划未验;作为独立框架呈现,与 SFT warmup、多智能体编排的组合性留给未来。
我判断:所有基线在同一 45K 集、同一 Qwen2.5-7B 上复现,这点比多数同类干净;但表 1 每个基准只有一个 avg@4 单点,没有区间、没有种子方差,24.3% 是 10 个异质基准均值之比(0.429/0.345),单跳档只有 3.9%,说明增益确实是多跳与长程撑起来的。"训练稳定"是相对 AutoRefine/ReSeek 的行为观察,不是受控消融;α、λ 的敏感性扫描里验证分只在 51.7–55.5 之间浮动,反过来也说明这套配置的收益对超参不算敏感。43
复现:原文未提供代码或数据链接。关键配置:SkyRL 框架,8×B200,1 epoch,每问 5 条轨迹,最大 32 轮,top-3 检索,α=0.8、λ=0.5,验证集每数据集 500 例。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是"评估与轨迹解耦"这个工程口径:自检放在轨迹之外、只在训练期出现,并把自检的价值用答对率转移量算成细粒度奖励——这样既不把反思文本塞进每一步(那是 AutoRefine/ReSeek 崩掉的原因),又能给过程信号。成立条件是基座本身具备"看得出证据不足"的能力,7B 上作者验证过,更小的模型未必;另外它假设判分只看最终答案对错,开放域任务里这个奖励会退化成噪声。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
上半部是训练回路:Question 进 Policy Model,采出 σ1…σn 一组轨迹,分别过 Reference Model 与 Custom Reward 得 r1…rn,再由 Group Advantage 换成 A1…An。右上 Reward Design 框写出 R_t=r_final·α^(T−1)+λ·r_assess 与 r_assess 的四档取值(incorrect→correct 1.0、correct→correct 1.0、incorrect→incorrect −0.1、correct→incorrect −2.0)。下半部把一条轨迹的自评估分岔摊开:答对或答错之后各接 [COMPLETE](终止)或 [INCOMPLETE](追加 think/search/Documents 后再作答),最右用花括号标出四种转移;实线框计入 loss,虚线框(Documents、状态标签)不计入。(arXiv:2610.30435)。

44. ReflectPO:Qwen3-8B 总体 45.4,高出最强基线 2.6 点 · arXiv:2610.30933 · 值得扫读

ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents · arXiv:2610.30933 · 值得扫读
作者与机构:Rumei Li 与 Xunliang Cai,均属 Meituan, China。原文未标共同一作与通讯作者。
研究问题与核心方法:
要问的是:长程工具调用里错误会沿决策链累积,能不能让智能体自己发现偏航并从出错状态续跑,而不靠推理期的外部裁判?
先做诊断:用 Qwen3-8B 在 τ²-bench 与 BFCL-v3 Multi-turn 上跑自然轨迹,让 GPT-5.6 Terra 逐步标错并判断后续是否恢复(重复 3 次)。结果是 83.68% 的轨迹含错、步级错误率 19.49%、步级恢复率 18.74%、完全恢复率 14.19%。
采样分两种。对比式把同一任务的多条原轨迹合成前缀树,按分支点后继各组的终局奖励方差排序,取奖励最低的为目标、另一条为参照,由 guide 模型从"共享前缀 + 两段局部片段"生成反思提示;循环式用固定窗口把轨迹建成有向图,找重复访问形成的环,取第一次访问起点到第二次访问终点的整段生成提示。
两种提示都插在恢复锚点上——先把该步之后的环境快照还原,再让行为策略带着提示续跑,产出恢复轨迹并正常判分。信用分配上,原轨迹的分支节点用"子节点均值奖励 − 父节点均值奖励",按全局 batch 标准差裁剪到 [−1, 1],非分支步继承最近一次分支的优势;恢复轨迹的优势是 (恢复奖励 − 配对的原始奖励)/σ。
策略目标沿用 Reinforce++ 的 token 级裁剪形式外加 KL,损失按轨迹、步、token 三级等权平均,观测、提示与恢复轨迹的共享前缀不计入,提示在梯度计算前被移除。
训练用 Qwen3-4B/8B,数据来自 EnvScaler 并清洗掉无法执行的 MCP 工具样本后剩 2,457 条;单节点 8×H800-141G、batch 32、3 个 epoch、报 step 210 的检查点。44
关键结果:
  • Qwen3-4B 上总体从 33.2 升到 36.6(BFCL-v3 33.9→36.9,τ²-bench 31.3→36.0),超过最强基线 GiGPO 的 35.3;Qwen3-8B 上总体从 39.6 升到 45.4,超过 GiGPO 的 42.8 与 Fission-GRPO 的 42.0(表 2);括号里的两个数是分基准小计——BFCL-v3 Multi-Turn 41.8→48.1、τ²-bench 33.6→37.4;表 2 的 Overall 是跨两个基准合并的一列,不等于两项小计的平均(48.1 与 37.4 平均只有 42.75),原文未写合并权重,同一配置在表 3 写作 45.36。
  • 恢复行为确有改善:相对 Reinforce++,步级恢复率与完全恢复率分别提高 2.49 与 2.70 个百分点;五类错误上均优于基座,四类优于 Reinforce++(图 4、§5.3)。
  • 消融逐级加分:Qwen3-8B 基线 39.64 → Reinforce++ 41.32 → 仅树结构信用 43.23 → 只保留对比采样 45.27 → 只保留循环采样 44.34 → 全量 45.36(表 3)。
  • 两组采样策略并不同等重要:全量相对"只对比采样"总体只多 0.09 点,τ²-bench 提 1.08 点、BFCL-v3 反而降 0.25 点(§5.4)。
  • 采样效率是它的另一条卖点:在同样累计 rollout 响应 token 预算下,ReflectPO 的验证分曲线高于 Reinforce++(图 5,两条曲线做指数滑动平均)。
  • τ²-bench 的增益并不均匀:4B 上 Telecom 从 14.4 跳到 26.3、Airline 38.0 持平、Retail 从 45.2 降到 44.7,Telecom 一项撑起 4B 总体 +3.4 点;8B 上 Telecom 反而从 24.8 微降到 24.6(表 2)。44
证据与局限:
原文未单列局限章节,只在 §5.4 承认全量相对对比采样仅 +0.09 点、BFCL 略降,并在可复现性声明里指回第 5.1 节与附录 A。
我判断:训练集清洗后只剩 2,457 条、评测只有两个多轮函数调用基准,规模偏小;τ²-bench 三个域的题量差异大,4B 上的整体提升主要靠 Telecom 一个域撑起,换域外推要谨慎。表 2 与表 3 对同一配置给出 45.4 与 45.36、39.6 与 39.64 两套数,说明正文表与消融表不是同一次评测的同一舍入路径,引用时优先用表 3 的三位小数。另外两类实验都没给多种子方差,2.6 点这种差距在单次训练下不宜当稳定收益。44
复现:原文未提供代码或数据链接。关键配置:Qwen3-4B/8B、2,457 条 RL 样本、8×H800-141G、batch 32、3 epoch、报 step 210、KL 系数 0.001、单步生成上限 4,096 token、总响应上限 24,576 token;对比采样每任务至多 3 个分支点、局部片段长 5、每步至多 128 条恢复分支,循环采样每步至多 64 条。
与目标研究线的关系:属 B(轨迹学习与自进化)。真正可搬的是"用同一任务的既有 rollout 自动挖出恢复锚点"这一套:分叉点用组间终局奖励方差选,循环点用窗口节点图找,提示由更强的外部模型生成、但不进梯度。它成立的前提是任务可重放——需要环境快照能在锚点处还原,τ²-bench 这类支持状态复位的模拟环境可以,真实线上系统多半不行;另外提示由 DeepSeek-V4-Pro 生成,效果对 guide 模型质量有依赖,这点原文没做消融。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
三个面板对照三种 rollout 方式。(a) Direct Rollout:Agent 与 Environment & Tools 交互,从同一初始点分出 Trajectory 1 与 Trajectory 2 两条普通轨迹。(b) Contrast-based Recovery Rollout:蓝点 ordinary point、粉点 fork point、绿点 recovery point;分叉处标 Emerge Branches,在 fork point 插 Reflection Hint 后长出 Recovery Traj,同时保留 Reference Traj 与 Target Traj 做对照。(c) Loop-based Recovery Rollout:轨迹绕回自身形成闭环,虚线标 "Fall into a Loop",在第二次访问处插 Reflection Hint 生成 Recovery Traj。图中无坐标轴与数值,只有节点类型与箭头方向。(arXiv:2610.30933)。

45. 7 个模型 125 探针:留存 62.4%–100%,88.6% 的失败是记得却不遵守 · arXiv:2610.31314 · 值得扫读

When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues · arXiv:2610.31314 · 值得扫读
作者与机构:第一作者 Yancheng Zhu,通讯作者 Yifan Yuan,均属 School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院)。
研究问题与核心方法:
要问的是:模型能复述一条约束、却不再拿它约束生成,这种"记得却不遵守"能不能被单独测出来,而不是混进"忘了"里?
作者把它命名为 State Integrity Collapse(SIC),与普通遗忘区分:遗忘是取不回约束,SIC 是取回了但不用。基准 StateTrack-Bench 每条对话三段:setup 注入一条持续约束,distractor 轮次在话题上延续但不复述约束,test 轮在指定深度上施压。
约束分五类——数值、格式、角色/人格、事实记忆、逻辑规则;深度取 3、5、7、10、12 五档。每类 25 个探针,每模型 125 个,7 个模型共 875 个主输出。干扰轮的构造有三条硬约束:与约束原文的 Jaccard 相似度均值 0.040、语用上像真实续问、后段逐步加压。
主指标是 strict joint retention:判官同时看"当前请求是否被满足"和"持续约束是否被遵守",两者都成立才计 1;早期—后期衰减定义为 Δ=R(3)−R(12)。
诊断靠分叉审计:同一条对话前缀复制成两支,遵从支直接问下一题得 b∈{0,1},召回支要求复述当前生效约束得 r∈{0,1},且召回探针从不进入被打分的轨迹。SIC=|r−b| 按实例算,SIC⁺(能复述但不遵守)与 SIC⁻(遵守但说不出)分开报,避免正负抵消。
判官是 GPT-5.4 温度 0 加固定 prompt;三个架构不同的判官在 200 条子集上 Fleiss κ=0.89,人工对角色/逻辑两类 80 条标注的 κ 为 0.87 与 0.82。干预手段 SSA(Structured State Anchoring)三步:每轮前置 [ACTIVE_STATE]、把约束改写成可验证谓词、生成后校验并最多重试 2 次。45
关键结果:
  • 严格留存跨模型从 62.4% 到 100.0%:DeepSeek-v4-Flash 100.0、GPT-5.4-mini 98.4、DeepSeek-v4-Pro 96.0、Qwen3.6-Plus 95.2、GPT-5.4 94.4、Claude-Sonnet-4-6 90.4、Gemini-3.1-Pro 62.4%(表 3)。
  • 深度不是普遍衰减:全模型按轮平均为 90.9/91.9/90.7/91.4/90.0(轮 3/5/7/10/12),只有 Gemini-3.1-Pro 从 64.0 掉到 54.0、跌 10.0 点(表 2、表 5)。
  • 失败侧分解是全篇最硬的一条:79 例失败里 70 例是 SIC⁺,占 88.6%(Wilson 95% CI 79.7–93.9);剔掉 Gemini 后剩 32 例、27 例仍为 SIC⁺,占 84.4%(CI 68.2–93.1),SIC⁺ 全探针率从 8.0% 降到 3.6%(表 6)。
  • 类别上符号约束更脆:数值 87.7、格式 85.5、逻辑 83.5,事实记忆 95.4、人格 95.2(表 4)。
  • 重述干预(用 [SYSTEM REMINDER] 把约束规格重新声明一遍)能救一部分:全恢复率 53.2%–100%,但 Gemini 仍有 19.1% 完全救不回来(表 7)。
  • SSA 在深度 12 上的增益:Gemini 54.0→78.4(+24.4)、Claude 88.0→96.0(+8.0)、GPT-5.4 96.0→99.2(+3.2)、Qwen 96.0→98.4(+2.4)(表 14);拆开看,仅"前置"一步就挽回 62% 的丢失遵从,代价 +13% token、+8% 延迟。
  • 深度 12/30/50 的六模型确认(6 模型 × 12 个场景 × 3 个深度 = 216 个探针):遵从 94.4%/95.8%/90.3%,深度 50 的数值约束召回仍 100.0% 但遵从跌到 79.2%,SIC⁺ 达 20.8%,五例失败全是回答内部的计数问题(§6)。
  • 动态状态审计里 SSA 有反噬:不更新账本时,它在 74.3% 的情况下强制执行已被取代的旧规则;更新账本后陈旧执行降到 0.0%,97.1% 得到更新后或干净的行为。45
证据与局限:
原文自陈六条:每模型 125 个探针、每类 25 个,类别内统计功效有限;仍依赖 LLM 判官;跨语言只有 30 例;干扰轮刻意非对抗;20–50 轮的扩展只用了 40 例、多会话未测;单约束设定,不覆盖多约束干扰、优先级冲突与撤销检测。
我判断:这份工作的价值在审计设计(同前缀分叉、按实例算 SIC⁺/SIC⁻)而不是排行榜——但 79 例失败里 47 例来自 Gemini,几乎全部排名结论都压在一个模型上,作者用"剔除后再算"处理得算诚实,样本量仍薄。另外发现一处内部不一致:§4 的 "Constraint-type profile" 段写事实 93.7%、逻辑 88.6%、数值与格式 91.4%、人格 89.7%,与表 4 的 95.4/83.5/87.7/85.5/95.2 对不上,也与 §5.2 的"符号类低 8–12 点"叙述不符,未见作者说明;引用类别数字时应以表 4 为准。45
复现:代码与产物 https://github.com/xzzvsxd/StateTrack。基准按 CC BY 4.0 发布;判官 GPT-5.4 温度 0、prompt 与随机种子固定,主结果用确定性解码,温度 0.3/0.7 的复核最大偏移 2.1 点。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬的是评测口径:把"记得"与"照做"拆成同前缀的两支分别打分,主指标用联合严格留存而不是单一遵从率,这样局部任务失败不会被误读成记忆丢失。成立条件是要有可判定的约束(数值、格式、逻辑规则最容易判),语义类的角色扮演判断要靠人工校准;另外 SSA 这类前置注入只在约束仍然有效时成立,有撤销或更新的对话必须先维护状态账本,否则会变成过度执行。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
三块面板的流程图,没有坐标轴与数值。左块 Dialogue history 把 Turn 1…Turn n 的对话条目(带文本、表格、语音三种图标)汇成对话历史,再分两路:一路进 EOG 框,分出 Trace 与 Final 两支;一路生成两个 Reference 堆栈。中块 Forked test 从前缀分出 Forked Path 1/2/3,各自产出 Scored 矩阵,另有一路 Recall 与一张小柱状图,全部汇入 Data aggregator。右块 SIC lens 把堆叠矩阵送进标着 SIC 的层与 Internal audit layers,再由 Judge 出红点;右下 Audit 块由 Data tensor 生成 Audit 文档。(arXiv:2610.31314)。

46. 87 人 291 对判断:记忆版回答仅 38.7% 被偏好,奖励模型 72.8% · arXiv:2610.31272 · 值得扫读

Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use · arXiv:2610.31272 · 值得扫读
作者与机构:第一作者 Yijiang River Dong;作者横跨 University of Cambridge、Stanford University、Technical University of Munich、Harvard University、University of Texas at Austin,原文首页把机构按三个块列示、未逐人对应,另标 ∗ 为共同一作、† 为共同指导(Alex Pentland、Nigel Collier、Jiaxin Pei 在列)。
研究问题与核心方法:
要问的是:给助手更多用户记忆,是否就换来用户更想要的回答?如果不能,现有自动评估器能不能替人判断?
数据采集通过 Prolific 招 87 人、约 30 分钟、14 USD/小时。参与者在自己的 ChatGPT 账号里跑一段抽取 prompt,得到年龄职业地点等画像、10 个主题的偏好、100 条近期 query,再手录或语音转写最近一个月约 30 件事件——全程不上传完整对话与附件。
每问用 text-embedding-3-small 取 9 条记忆,从 GPT-5.2、Gemini-3.1-Pro、Claude-Opus-5 中随机挑一个生成器,分两次调用产出有记忆的 y^m 与无记忆的 y⁰;记忆侧再分保守、普通、激进三种指令,只有普通指令下的生成器对比是受控的。
100 个候选对里先由 LLM 评估"实质差异是否由记忆支撑",筛出 15 对交给本人做五点量表标注。过滤后得 821 条判断(673 条强偏好、148 条平局),建模只用 291 对清晰偏好。
模型是"可解释特征 + 学习权重":从训练折的偏好四元组里用 LLM 归纳 10 个 rubric 维度、跑 5 次再合并成 12 个特征(3 个记忆相关、9 个回答质量),每折独立归纳并在折内固定,最后用 L2 逻辑回归学权重;参与者级 5 折交叉验证、10 次随机打乱取平均。46
关键结果:
  • 普通指令下记忆版只赢 38.7%,无记忆版 41.9%,平局 19.4%;保守指令 43.3/40.6/16.1;激进指令 34.6/49.3/16.2(表 2,百分比含平局)。
  • 方向随生成器翻转:GPT 44.1 对 34.9、Claude 48.1 对 36.5,Gemini 却 30.7 对 59.5(表 2)。
  • 现成评估器全都不贴人:多数类基线 55.0%,直接 judge 58.1%,带 rubric 的 judge 59.6%,Skywork-Reward-V2 带记忆 52.9%、不带记忆 58.8%(表 3)。
  • 而且它们系统性偏爱"带记忆"的回答:两序投票的 judge 有 67.2%、Skywork 有 81.1% 选记忆版,标注人只有 45.0%(§6.2)。
  • 本文模型 72.8%,比最强基线高 13.2 个点、比多数类高 17.8 个点,已接近重测一致性 73.9%;分生成器为 GPT 66.0、Gemini 75.0、Claude 82.2(表 3)。
  • 特征块消融:只用记忆特征 62.5、只用回答特征 67.0、合并 72.8,合并分别高出 10.3 与 5.8 个百分点(§6.3)。
  • 置信度分层可用:保留最有把握的 75%/50%/25% 比较,准确率升到 76.2%/83.7%/88.8%(表 5)。
  • 权重最大的两项其实是呈现形式:标题数 +0.646、相对长度 +0.571;记忆相关性 +0.386、假设合理性 +0.323,无据假设 −0.201(表 4)。46
证据与局限:
原文自陈三条:记忆形态单一,只覆盖"ChatGPT 抽取画像 + 自述事件";只测单轮回答、记忆作为上下文注入,多轮与 agent 任务里的记忆获取、更新、删除未覆盖;离线评测,尚未把这份监督用于后训练。
我判断:291 对清晰偏好、按参与者切分留出,切分是干净的,但 87 人、291 对样本撑 12 维回归仍偏薄;72.8% 距重测上限 73.9% 只剩 1.1 个点,说明任务本身的噪声地板就在 74% 附近,任何超过它的声称都该先怀疑。标注只留 "much better" 那档(重测一致率 73.9%,"slightly" 只有 58.6%),等于把任务做容易了,真实部署分布更接近 50/50。另外"长度与标题数比记忆相关性更重要"是描述性拟合,不是因果——原文自己也说长度与质量难分离。46
复现:原文未提供代码或数据链接。关键配置:rubric 归纳与合并按外层折独立进行,L2 强度 C∈{0.003, 0.01, 0.03, 0.1, 0.3} 在折内用四折交叉验证选,标准化只在训练参与者上拟合,5 折 × 10 次随机打乱,预测按 10 次平均后再算准确率。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是"记忆使用的偏好口径":把 y^m 与 y^0 同 query 同生成器配成对,让记忆的拥有者本人来选,这样测的才是"记忆有没有帮上忙"而不是"记忆有没有被复述"。这套量法可以直接做记忆模块的验收指标;成立条件是必须拿到用户本人的判断,换成第三方标注或 LLM judge 就会退化成偏爱个性化。若要当奖励模型用,注意它只覆盖单轮、且是离线评估。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
四个编号步骤。① Query + user memory:示例 query 与 4 条记忆(M1 focus best in mornings、M2 stand-up daily 9–9:30、M3 works out before work、M4 dislikes public speaking)。② Paired responses:同 query 同 generator 生成无记忆的 y⁰ 与有记忆的 y^m,用绿框标 justified use、红框标 unwarranted use。③ Pairwise features:x=Φ(q,M,y^m,y⁰)∈R^12,条形示例为 Memory relevance +.38、Assump. proportionality +.32、Unwarranted assumpt. −.25、Relative length +.39、Heading difference +.57、Option framing +.27。④ Preference:奖励模型 P(y^m≻y⁰)=σ(b+wᵀx) 输出 0.33,预测参与者更偏好 y⁰,右下标 "chosen y⁰ (much better) / Prediction correct"。图注称示例与权重为示意,故与表 4 的拟合系数略有出入。(arXiv:2610.31272)。

47. 十文档只移金文档:Transformer 首因 +0.052,状态空间模型 ≈0 · arXiv:2610.31135 · 邻近跟踪

Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering · arXiv:2610.31135 · 邻近跟踪
作者与机构:Aman Behera(IIT Roorkee)、Namit Solanki(AISSMS IOIT, Pune)、Mehul Anand(Independent Researcher,独立研究者)。原文未标通讯作者。
研究问题与核心方法:
要问的是:长上下文问答里"证据放中段就掉分"这条曲线,是 Transformer 专属,还是所有序列混合器共有?
实验沿用 Lost-in-the-Middle 的十文档设定(源自 Natural Questions):每题 1 篇金文档加 9 篇干扰,固定题面、干扰与 token 预算,只移动金文档,渲染出 10 个 prompt;另设无金文档测地板、只给金文档测上限。
指标定义为 primacy = mean(A₀,A₁) − mean(A₄,A₅),recency = mean(A₈,A₉) − mean(A₄,A₅),A_p 是金文档在位置 p 的准确率;以题目为单位做 10,000 次配对 bootstrap、报百分位 95% 区间,族内做 Holm 校正。
模型分四组:共享语料的同规模对比(Pythia-2.8B 对 mamba-2.8b 与 mamba2-2.7b);严格配对的纯/混合对比(nvidia mamba2-8b-3t-4k 对 mamba2-hybrid-8b-3t-4k,同数据、tokenizer、规模、深度与位置设置,混合只多一层注意力);五组近似规模对;以及三个补充系统。
规模上:数据集快照 2,655 题,800 题划给探索、1,855 题留作确认且未开;主扫每系统 9,600 次贪心生成。另做三组诊断——固定架构换训练语料(Pile 对 SlimPajama)、改 prompt 排布、线性探针与首 token 注意力测量。47
关键结果:
  • 家族差异成立:Transformer primacy +0.052(95% CI [0.032, 0.072]),两个状态空间变体为 −0.001([−0.016, 0.014])与 −0.018([−0.034, −0.003]);三者的 recency 分别为 +0.075、+0.077、+0.105(表 1)。
  • 配对交互更硬:状态空间减 Transformer 的 primacy 差为 −0.053 与 −0.070,Holm 校正后 p<10⁻⁴(附录 A.3)。
  • 但严格配对的纯/混合对比不显著:混合减纯 primacy +0.019([−0.006, 0.044]),Holm p=0.144;recency −0.028([−0.055, −0.001]),p=0.089。方向与家族对比一致,但不能据此定因果(表 1、附录 A.4)。
  • 家族差距只在"答得出来"的模型上出现:五组规模对里最小两组几乎为零(最小 Transformer 上限仅 0.009),三组大的为 +0.062、+0.069、+0.053(附录 A.5)。
  • 换语料不改曲线形状:固定架构下 Pile 减 SlimPajama 的 primacy 为 −0.007([−0.030, 0.016])、recency −0.016([−0.044, 0.012])(附录 A.6)。
  • prompt 能造出或抹掉首因:题面在文档前后重复,把状态空间的 primacy 从 0.000 抬到 +0.103;只放前面给 +0.020 且把 recency 从 +0.070 压到 +0.010;换模板把 Transformer 的 primacy 从 +0.070 压到 +0.005(附录 A.7)。
  • 机制侧只到相关:位置在两族中间状态里都能线性解码(高于 shuffled-label 对照),Transformer 的首 token 注意力集中度与 primacy 跨规模共变,但作者明确说没做成 sink-blocking 干预(§4)。47
证据与局限:
原文自陈:模型、架构、任务、prompt 都少,十文档结果全部是探索性的;家族对比仍混着深度、位置编码、状态大小与 checkpoint 构造的差异,更紧的混合对比本身不确定;内部证据是相关性的,确认集未打开。
我判断:这是本单元里最克制的一篇,作者主动把 p=0.144 摆出来,值得学;代价是主结论只剩"被评测的这一族 Transformer 有首因,两族都有近因"。800 道单源(NQ)探索题、2.8B 上下的模型,别往 70B 或 RAG 流水线上外推。可用的量级是"中段到首位 +0.115、区间 [0.055, 0.175]"(附录 A.2)和 prompt 可移动 0.1 量级的 primacy——但要在自己的模型与模板上重测后再据此排布检索结果。47
复现:原文未提供代码或数据链接,只给出 checkpoint 的 HuggingFace repo id 与 revision(pythia-2.8b、mamba-2.8b-hf、mamba2-2.7b-hf、mamba2-8b-3t-4k、mamba2-hybrid-8b-3t-4k 等,见附录 B.1 表 4)。贪心解码,至少约 50 个单卡 GPU 小时(A10G 23GB / A40 46GB / T4 15GB / L40S 46GB,按阶段分派)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是评测协议:固定干扰、只移金文档、按题做配对 bootstrap、报完整位置曲线而不是一个聚合分,外加一次 prompt 敏感性检查——这四件事能让"长上下文能力"的说法可复核。它的成立边界很清楚:本研究的差异只在能答对题的模型上出现,若目标模型地板与天花板离得太近(例如此处最小 Transformer 上限 0.009),曲线测出来的是噪声。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
上半部是一条十文档提示:蓝页为 gold doc、九个白页为 distractor,箭头标注 "move only the gold doc"。下半部三行 Start / Middle / End 展示九个干扰文档不动、只把金文档从位置 0 挪到位置 4、再到位置 9;底部横轴标 0–9 的文档位置,没有纵轴。最下方两行给出量纲:primacy = mean(A₀,A₁) − mean(A₄,A₅),recency = mean(A₈,A₉) − mean(A₄,A₅),A_p 为金文档在位置 p 时的准确率。(arXiv:2610.31135)。

48. 同一 1% 插入:固定分块重算 100%,内容定义分块低于 30% · arXiv:2610.31019 · 值得扫读

Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking · arXiv:2610.31019 · 值得扫读
作者与机构:Yuning Bian、Lele Xu、Yifan Yuan、Xinyu Yin、Chengyan Zhan,五人同属 School of Computer Science and Technology, Anhui University of Technology(安徽工业大学计算机科学与技术学院),Ma'anshan。
研究问题与核心方法:
要问的是:文档改一版,RAG 索引里到底有多少 embedding 输入必须重算?分块策略的差别有多大,省下的重算会不会换来召回下降?
复用判定是字节级的:一个 chunk 的完整 embedding 输入(文本加特殊 token)与旧版某条完全相同才算命中,差一个字符就算新输入。重算比例 R_c 定义为"未命中的去重输入 token 数 / 新版去重后的全部输入 token 数",每个方法除以自己的工作量为分母。无编辑对照(同一版本跑两遍必须 R_c=0)是硬门槛。
数据是中英文维基相邻修订对,共 149 对:6 篇校准、120 篇主队列、23 篇留作诊断。主队列 62 中 + 58 英,三种分块器都成功的 116 篇(58+58)构成共同成功池;每篇 2 题,共 240 题、480 个版本级标签,剔除不可答版本后 330 个可评分(153 中 + 177 英)。
三个分块器都无状态、只看当前版本:固定切 304 token 不重叠窗口;递归以 400 token 为目标,依次按空行、换行、句末切;CDC 用固定 commit 的 Steadlith,词级 Rabin 指纹定切点(最小/最大 176/352)。三者上限 512 token,目标长度在 6 篇校准文上选到各法中位长度相差不超过 15%。
检索用冻结的 BGE-M3(CLS pooling、单位归一、精确点积),2,048 token 预算内整块打包、按名次填充、最多看 100 个候选;证据召回按标签给出的充分证据集是否被覆盖计 0/1。统计先篇内平均再跨篇平均,配对差用 2,000 次按篇 bootstrap 报 95% 百分位区间,不做假设检验。
另做两组诊断:把 1% 的合成插入分别放在篇首、篇中、篇尾,看重算比例随位置怎么变;以及在 17 篇共同成功文上查"被重算的输入文本是否原样存在于旧版",用来支持边界漂移的解释。48
关键结果:
  • 冻结参数下重算比例:中文 68.4%(固定)/55.7%(递归)/54.0%(CDC),英文 57.4%/37.9%/42.8%;对应召回中文 97.4/98.3/98.3、英文 96.7/96.8/95.0(表 1)。
  • 配对差把家族关系说清楚:递归减固定 −12.7 个百分点(中文,[−19.7, −6.2])、−19.6(英文,[−26.2, −13.2]);CDC 减固定 −14.4 与 −14.7;CDC 减递归 −1.7(中文,[−6.8, +3.7])但 +4.9(英文,[+0.9, +9.4])(表 2)。
  • 小编辑时差距最大:英文 28 篇小编辑上固定/递归/CDC 为 46%/25%/27%,中文 23 篇为 62%/45%/36%;极端编辑趋同(英 70/60/64,中约 92)(表 3)。
  • 内容感知两法的排名随长度设置变化:14 个英文、15 个中文 length-matched 设置里,英文的 CDC 减递归在 −2.4 到 +6.2 之间、中文在 −0.7 到 +5.5 之间,两个语言都变号,29 个区间里 13 个在零上、没有一个在零下(§V)。
  • 但固定分块在每一个 length-matched 设置里都最贵:对 CDC 高 13.7–16.4(英)、6.6–16.6(中)个百分点,58 个设置区间里 57 个在零下(§V)。
  • 位置诊断最直观:1% 插入放在篇首时固定分块重算 100%,放到篇尾降到约 12%;递归与 CDC 在三个位置都低于 30%(图 3)。
  • 逐字存在检查支持"边界漂移":被重算的固定分块输入里,50%(英)/47%(中)的完整文本其实原样存在于旧版,CDC 为 33%/45%,递归 12%/37%(§VI)。
  • CDC 在 4 篇中文上直接失败(出现 403–550 个 tokenizer 单位的无空白长串,超过 352 上限被拒),三种填补方式下中文 CDC 减固定仍在 −13.5 到 −10.1 之间且区间全在零下;arXivEdits 外部核对 30 篇的均值是 94.5%/81.4%/80.2%(§V)。48
证据与局限:
原文自陈:单一来源的 120 对,分带样本 2–28 篇只能描述;长度校准后实际中位比 1.17,超出自己设的 1.15;标签未经多人独立裁定,作者自审 60 条对 57 条;召回只在冻结长度下测;单编码器、单预算、单来源;KARA 未能跑通可比实验。
我判断:这篇的贡献是把"更新成本"做成可比的指标,而不是给分块器排名——作者自己也只说固定分块最贵。可引的是量级与位置效应(篇首插入 100% 对篇尾 12%),不要引具体 55.7% 这类小数当基准:116 篇、每篇 2 题、330 个可评分标签,一个标签就能挪动语言均值 0.4–1.7 个点,作者据此明确拒绝按召回排名。召回差的区间大多跨零,原文写的是"不构成等价性",转述时别写成"检索质量无差别"。另外反向也有代价:固定分块改成 32/64 token 重叠,重算比例与不重叠只差 1.3 个百分点以内,却多嵌 10–26% 输入,英文召回还低 3.0/3.9 个点。48
复现:原文未给出自身代码或数据仓库链接;CDC 用固定 commit 的 Steadlith 实现(https://github.com/satwiksps/steadlith,commit 74c5b55b),编码器为冻结的 BGE-M3,bootstrap 种子、内容哈希与逐篇结果随 artifact 记录,文本按 revision ID 与哈希标识而不重分发。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"上下文供给与状态维护"这条支线上。可直接搬走的是成本口径:字节级复用判定 + 无编辑零重算对照 + 按篇 bootstrap 配对差 + 报告口径注明"模型输入工作量,不是延迟或价格"。它成立的前提是能拿到相邻两版的精确原文;维基可以,PDF 抽取的论文不行(作者自己踩过:引用格式处理会产生虚假差异)。要落地选型,还得在自家文档分布上重跑长度网格,因为内容感知两法的排名正负都出现过。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
左右两个面板对应 Chinese 与 English,纵轴 Recompute fraction 取 0–1(即 0–100%),横轴是 1% 合成插入的位置(start / middle / end),三条线为 Fixed(蓝)、Recursive(橙)、CDC(绿)。中文面板里 Fixed 从 start 的 1.00 降到 middle 约 0.55、end 约 0.12,Recursive 与 CDC 全程压在 0.05–0.25;英文面板里 Fixed 同样从 1.00 经约 0.55 降到约 0.05,Recursive 在 middle 反而抬到约 0.28,CDC 在 0.10–0.17 之间近乎持平。(arXiv:2610.31019)。

八、自然语言处理:决策模型与用户模拟

七篇里有三件装置可以直接搬。
第一件是按选项评分的闭集决策编码器:匹配算力下比联合读法高 0.028([0.015, 0.042]),但只在从 reranker 初始化时成立;打乱选项顺序会改 12%–23% 的答案,联合读法做不到顺序不变。
第二件是把用户模拟从「像人」拆成「有效」:UserLM-2.0 的有效模拟对话率 46.2%,是已发布最强模拟器的 3.28 倍。
第三件是把生成换成打分:RetiJev 9B 版 158 ms 出答案,延迟是数量级的差。

49. RetiJev:9B 版 158 ms 出答案,指南分级领先 10.4–23.0 分 · arXiv:2610.30947 · 值得扫读

RetiJev: Fast and Source-Grounded Ophthalmic Decision Models · arXiv:2610.30947 · 值得扫读
作者与机构:Bo Liu(新加坡国立大学杨潞龄医学院 Centre for Innovation and Precision Eye Health 与 Department of Ophthalmology,兼 University of Washington);原文脚注标注有多位作者为 Equal contribution(共同一作)。通讯作者为 Meng Wang(wang.m@nus.edu.sg)、Ching-Yu Cheng(chingyu.cheng@nus.edu.sg)、Huazhu Fu(hzfu@ieee.org)。合作单位:Singapore Eye Research Institute / Singapore National Eye Centre、Duke-NUS Medical School 的 EYE ACP、A*STAR 的 Institute of Advanced Intelligence and Computing。
研究问题与核心方法:
要问的是:把眼科临床决策从"生成答案"改成"给候选答案打分",能否在准确率不降的前提下把延迟压到床旁可用、并且能本地部署?
数据侧先造监督。作者用 1,817 个眼病名及其同义词检索 PubMed 文献,去重与全文可得性筛选后留下 65,759 篇全文,把相关段落按病种组织成保留 PMCID/PMID/DOI 与逐字引文的 evidence bundle;再由 LLM 抽取"条件—结论"式临床规则,语义等价的规则合并成规则族,共 6,303 个规则族。
题目分两块。临床决策与诊断部分 78,158 题,含六个任务(转诊、下一步检查、管理方向、方案安全性、紧急度、诊断评级),前四个共用眼科医生预先审定的 53 个动作选项,再加上四级紧急度与三级诊断量表,答案选项目录共 60 项(53+4+3);指南分级部分 50,074 题,覆盖 11 套已发表分级体系,标签由 Python 函数从结构化临床参数算出,而不是让模型判。两块合计 128,232 题,切分为训练 94,561、开发 9,009、测试 24,662。
防泄漏按规则族切,不按文章切。等价决策原则不论出自哪篇文章都进同一个池,Seen 是新病人走训练覆盖过的规则族,Unseen 走留出规则族;需要跨池规则的病例直接丢弃。标签先过证据过滤(剔除无支撑引文、无效候选、答案泄漏),再由另一个模型家族在只看原文、不看标签的条件下独立作答,一致的进 agree,不一致的必须再由两个模型家族给出同一答案且至少一个附原文引文才进 adjudicated。
模型侧是冻结主干加打分头。RetiJev 用 Qwen3.5 的 0.8B/2B/9B 作冻结主干,只在 attention、DeltaNet 与 MLP 投影上挂 LoRA(r=64),另训一个跨任务共享的 pointer head:把状态 s、问题指令 q_k、候选文本与决策符 ⟨d⟩ 拼成一条序列,⟨d⟩ 处隐状态经 W_Q 得 query,各 ⟨/o⟩ 处隐状态经 W_K 得 key,按 z=e^T u/√256 缩放点积后对候选取 softmax,全程不做自回归解码。同一病例的多个问题共享一次状态编码,问题分支各自独立批量打分,因此加问、删问、换序都不改变单题结果。
训练目标是四项加权。交叉熵打底,有序评分加 0.3 倍 RPS,临床决策题另有 0.5 倍的 27B 冻结教师蒸馏(τ=2)与 0.5 倍的复述一致性 KL(目标取自身预测的停止梯度指数滑动平均),指南分级不用蒸馏也不用一致性;损失先在病例内按题平均、再跨病例平均,避免问题多的病例权重过大。49
关键结果:
  • 指南分级全面领先:三个尺寸在"没见过的渲染器"写出的病历上得 95.9%–97.3%(Grading-OOD),在阈值附近、带干扰信息的真实风格病历上得 89.8%–96.3%(Grading-Hard),比 Qwen3.8-27B 零样本(77.6/73.3)与 Jev 1.13(83.0/79.4)高 10.4–23.0 分(表 2)。
  • 临床决策随规模改善:RetiJev-9B 在 Decision-Unseen 得 84.9%(两个基线均 79.5%),Decision-Seen 得 83.9%(77.8%/77.4%),提升 5.4–6.5 分且配对 bootstrap 显著;2B 也显著优于两个基线(表 2)。
  • 疾病识别是小模型的硬约束:Diagnosis-Unseen 仅 164 题,0.8B 得 68.9%、2B 得 72.6%,都低于两个基线的 84.8%;9B 才追到 84.8%,两个诊断集上均无显著差异(表 2)。
  • 延迟:9B 单张 H200、batch=1、平均每例 2.65 个问题时中位 158 ms(p95 171 ms,31.5 GB);Qwen3.8-27B 字母打分 247 ms、短答生成 546 ms(3.5 倍)、带推理 74,489 ms(约 471 倍)(表 3)。
  • 本地部署:0.8B 在 8 核 CPU 上中位 347 ms、峰值 5.9 GB,GPU 上 133 ms / 3.3 GB;参数只有 27B 基线的 1/34(表 3、图 1)。
  • 校准支持选择性推迟:Decision-Unseen 上 ECE 为 0.033(0.8B)/0.016(9B),两个基线为 0.033/0.027;80% 覆盖率下准确率 87.8%/92.1%,被推迟的 20% 里集中了 51%/58% 的错误(§5.4)。
  • 消融:从纯交叉熵到全目标,Decision 77.8→80.3、Diagnosis 66.5→68.9、ECE 0.186→0.033;其中蒸馏把 ECE 从 0.186 压到 0.045,是校准的主要来源(表 4)。49
证据与局限:原文自陈:标签是来源可溯且跨模型核验的,但没有经过临床医生裁决,全部病人状态为合成,也未做前瞻性评估,用于临床前需要医生标注的真实世界评测。我判断:按规则族而非按文章切 seen/unseen 是干净的防泄漏设计,但它只保证"决策原则"没在任务训练里出现过,规则本身仍出自同一 PMC 语料,跨语料的泛化没被检验;诊断集只有 164 与 224 题,原文自己也说比较精度有限,所以 9B"追平"只能算不劣于、不能算追平后的稳定性;速度对比里 3.5 倍的对手是"短答生成",而 27B 字母打分只要 247 ms,与 9B 的 158 ms 同量级,宣传口径应写清比的是哪个基线。49
复现:代码与模型 https://github.com/Awenbocc/RetiJev。关键配置(表 13):LoRA rank 64、α=128、dropout 0.05,pointer head 维度 256 从零训练,可训参数 43.8M/68.3M/175.2M;AdamW lr 3e-5、weight decay 0.01、one-cycle 预热 5%、梯度裁剪 1.0;每步 4 个病例、3 epoch、bf16、开梯度检查点;单张 H200 上三个尺寸分别训 2.5/2.4/4.4 小时,峰值显存 6.1/12.4/42.0 GiB;训练集 42,550 条记录、94,561 题,选项每 epoch 重洗一次。
与目标研究线的关系:属 A(长程任务的训练与评估)。可直接搬的是评测构造口径:按"决策原则"而不是按文档切 seen/unseen,并对同一病例的多问共享状态、逐问独立打分——这既保证问题之间不互相污染,也把每例延迟压到固定开销。成立条件是答案集合可预先枚举(临床动作、分级量表);开放式生成或候选集合动态变化的场景不适用。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
三联图。(a)学生主干:同一个病人状态 s 分出 k 条独立问题行,每行拼接 s、问题 q_k、选项集合 O_k 与决策符 ⟨d⟩,送进 Qwen3.5 混合主干(Gated DeltaNet×3 与 Gated attention×1 交替成块,0.8B/2B 重复 6 次、9B 重复 8 次),主干冻结、只训 LoRA(r=64,标红)。(b)共享可训指针头:⟨d⟩ 处隐状态经 W_Q 投影成 query u_k,各 ⟨/o⟩ 处隐状态经 W_K 投影成 256 维 key e_{k,j},用 z_{k,j}=e^T u/√256 做缩放点积后 softmax 得选项概率 p(o_j),二值、选择、有序三类题共用同一个头。(c)只在训练时生效的监督:硬标签走 CE+有序 RPS,27B 冻结教师以温度 τ=2 提供分布做 KL 蒸馏,复述库提供停止梯度的一致性 KL,总目标为 L=L_CE+0.3L_RPS+0.5L_KD+0.5L_cons(arXiv:2610.30947)。

50. 匹配算力下按选项评分高 0.028,但只从 reranker 初始化才成立 · arXiv:2610.30970 · 精读

Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters · arXiv:2610.30970 · 精读
作者与机构:Tardelli Ronan Coelho Stekel(巴西圣保罗联邦学院 Federal Institute of São Paulo, IFSP;stekel@ifsp.edu.br,ORCID 0000-0002-3135-3656),单一作者。
研究问题与核心方法:
要问的是:闭集决策(选工具、判断一句话是否被检索段落支持、判意图)用的编码器最小能多小,以及选项应该"一次全读"还是"逐个读"?
先给出结论所依赖的读法差异。联合读法把指令、状态与全部选项放进一条序列,每个选项前插一个 [OPT] 标记,取标记位隐状态出一个 logit,再在这条序列内跨选项 softmax,一道题一次前向;按选项读法把同一状态重读 n 次、每次只带一个选项,再跨 n 个 logit softmax,选项之间永不互相看见(图 3)。
模型家族是六个联合编码器。Crivo-17M/32M/68M/150M/400M/1B 都从同尺寸 Ettin reranker 微调,套用 Dinah-0 的 [OPT] 读出,可读输入到 32,768 token,所以推理时不截断;小模型由大模型蒸馏(α=0.5、τ=2),损失为 CE + 0.5×Brier。
对照实验是 32M 的三 seed 网格。固定 150,000 题、一个 epoch、同一批行、同一套超参、同一个 400M 教师与同一批评测集,比较 J(已发布读法)、P(按选项读法)、J-comp(把 J 训到与 P 相同的优化步数,作为主对照)、J-steps(只对齐步数不对齐每步预算)、J-raw 与 P-raw(都从原始 Ettin 编码器起训),每个臂三个 seed,另加初始化×读法的 2×2 交互项。
评测分三层。内部用 pub15(37 个基准的分层 15% 样本,13,358 请求,报告 chance-corrected skill 而非官方指数)、S1-60、BTZSC-500;外部用 System1-Arena(209 个任务、41,183 请求、72,817 问)与 BTZSC(22 个数据集);另加一个不含任何学习参数的规则引擎 Prumo(12 个能力、2.7k 行 Python、527 个手设常数)作"格式捷径"探针。
污染控制写得比多数论文细。训练可用基准源数据集的 train/dev 划分但绝不用测试项;防火墙按归一化状态与问题、特征性状态、或 ≥120 字符的共享片段丢弃命中行,最后用全部训练文件对 563,686 道公开题逐一比对,零命中;外部基准在 2026-10-20、所有模型发布后只跑一次、只用一个渲染,并按"是否与训练源同数据集、重叠是否低于 0.5%"把任务分成未见过/见过。50
关键结果:
  • 匹配算力下按选项读法更准:P − J-comp 在 pub15 上 +0.028 [+0.015, +0.042],在 S1-60 准确率上 +0.031 [+0.010, +0.051];只对齐步数(J-steps)时差距更大,+0.058 [+0.050, +0.065](表 3)。
  • 优势取决于初始化:reranker 只帮按选项读法(P − P-raw = +0.031 [+0.006, +0.055]),几乎不帮联合读法(J-comp − J-comp-raw = −0.009 [−0.035, +0.017]);从原始编码器起训,两种读法不可区分(P-raw − J-comp-raw = −0.011 [−0.038, +0.015]),交互项 C4 = +0.040 [+0.014, +0.066](表 3)。
  • 代价在长尾:按选项每请求需要 5.2(pub15)/6.4(S1-60)/13.1(BTZSC-500)倍的前向序列;A100 上中位延迟几乎相同(10.7 vs 10.4 ms),但均值 4.3 倍(59.0 vs 13.7 ms)、p95 10 倍(表 7、§5.3)。
  • 小模型确实打得过 435M 分类器(全集):S1-Arena 209 个任务上 Crivo-68M 得 0.466、150M 得 0.475,DeBERTa-v3-large zs-v2 得 0.416,差 +0.049 与 +0.059,Holm 校正后仍显著;1B 到 0.539(表 4)。
  • 但在未见任务上只是打平:145 个未见任务上 68M/150M 仅 +0.027/+0.028,Holm 校正后 p=0.11 与 0.16;17M 与 DeBERTa 完全相同(+0.000),参数少 25 倍(表 4)。
  • 选项顺序敏感:打乱选项会改变 12%–23% 的答案(0.127–0.242),DeBERTa 为 2%,按选项读法因构造而不变(0%,图 6、表 3)。
  • CPU 延迟:Crivo-17M 在 16 线程上中位 13.5 ms、均值 80 ms,DeBERTa 为 728 ms / 12,103 ms(中位约 54 倍)(表 7)。50
证据与局限:原文自陈:读者研究只用一个 150k 子集、一个规模(32M),两种读法都没在全套配方与更大规模上比过;J-comp 靠重复同一批行来对齐算力,更严的对照应是"约 3.25 倍的不同数据行";S1-Arena 的审计靠名称与字符串匹配,BTZSC 只有 4 个数据集未见过;与最接近的同接口编码器未做对比;私有测试只跑一次且不可查看;延迟没有批量吞吐与算力计数,80 个请求的 CPU 样本使均值易被少数长请求带偏。我判断:三 seed、算力与步数双匹配、以及预注册的实验日志,使这套对照在同类工作里少见地干净;但"按选项更准"被作者自己限定为"取决于起点",因此不能当通用结论搬走;未见任务上 Holm 后不显著,说明"小模型超过 435M"只在 209 任务混合集上成立,单独引用会失真。50
复现:代码与全部图表脚本 https://github.com/tardellirs/crivo-decision-encoders;权重 https://huggingface.co/tardellirs/crivo-17m(同族 32m/68m/150m/400m/1b,CC BY-NC 4.0);按选项消融的三个 32M 检查点 https://huggingface.co/tardellirs/crivo-32m-per-option-ablation;Prumo https://huggingface.co/tardellirs/prumo 与 https://github.com/tardellirs/prumo。训练:AdamW、weight decay 0.01、stage 1 预热 5% 之后 3%、bf16、头学习率为编码器的 5–10 倍;stage 1 跑 5.9k–16.3k 步、每步 16k–33k token,stage 2 为 2.3k–5.2k 步,stage 3 为 2.6k–5.2k 步;训练题量 638,306(stage 1)/169,437(stage 2)/24,635(stage 3),总租卡成本约 80 美元。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是它的对照装置:算力匹配与步数匹配各一臂、两种初始化各一臂,再用 2×2 交互项把"读法"与"起点"分开;以及把无参数规则引擎当探针,量出榜单里有多少分来自格式捷径(Prumo 在自家私有测试的同技能子集上追平 17M 模型,在外部基准上接近随机)。成立条件是同接口、同请求格式的闭集决策;换成生成式判官或开放式输出,[OPT] 读出这套对照不成立。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
两段上下排列的读法示意,对比的正是第 5 节受控实验的两臂。上段是已发布的联合读法:一条序列 "[CLS] instr [SEP] state [SEP] [OPT] o1 [OPT] o2 [OPT] o3",蓝色弧线表示选项之间可以互相注意,从三个 [OPT] 位读出 3 个 logit 后做 softmax,成本为每题 1 次前向,token 数约 |x|+Σ|o_i|。下段是按选项读法:n 条序列各带一个选项(虚线框表示状态被重复读取),得到 l1…ln 后跨 n 个 logit softmax,选项彼此永不相见,成本为每题 n 次前向、token 数约 n|x|+Σ|o_i|。图里没有坐标轴,唯一量纲就是这个"1 次对 n 次"的编码开销(arXiv:2610.30970)。
站内摘要出入:站内摘要称联合编码器"对选项顺序不敏感",原文实测打乱选项会改变 12%–23% 的答案(0.127–0.242,DeBERTa 为 2%),只有按选项读法因构造而不变;"性能超 4.35 亿参数 DeBERTa-v3"也只成立于 209 个任务的合集,145 个未见任务上是 +0.027/+0.028 且 Holm 校正后不显著(p=0.11/0.16)。

51. 越南语零样本 JEV 13 个设定里 11 个第一,去变音符号掉 9.51–15.47 分 · arXiv:2610.31422 · 值得扫读

How Well Do Decision Models Transfer to Vietnamese? An Empirical Study of Text Classification · arXiv:2610.31422 · 值得扫读
作者与机构:Phat Huu Ha(University of Information Technology, Ho Chi Minh City;Vietnam National University Ho Chi Minh City);通讯作者 Dang Van Thin(thindv@uit.edu.vn,同两单位)。其余作者 Nguyen Xuan Phuc、Nong Nhut Quy、Trinh Tran Tran、Nguyen Minh Triet 同属上述两单位。
研究问题与核心方法:
要问的是:专用决策模型的零样本能力搬到越南语分类上还剩多少,标签描述用英文、越南语还是双语,以及越南语常见的正字法变体会让分数掉多少?
评测面覆盖 13 个设定。取自 12 个越南语数据集、6 类任务:主题分类(NEU-ESC、UIT-VSFC)、情绪识别(UIT-VSMEC)、仇恨言论(ViHSD、UIT-ViCTSD、UIT-ViOCD)、情感分析(UIT-VSFC)、意图识别(PhoATIS、ViMQ)、自然语言推理(ViNLI、ViANLI、ViMedNLI、vnNLI);UIT-VSFC 同时用于主题与情感,所以是 12 个数据集、13 个设定。
被测的四个决策模型都是冻结权重、零样本、不给示例:LAYA Multilingual(322M)、GLiNER2.5-multi-Decide(287M)、Quyet-1.0-Small(328M)与走 API 的 JEV;另设一个有监督微调的 PhoBERT 基线作上限参照。Quyet 最多支持 10 个候选标签,因此被排除在 28 类意图的 PhoATIS 之外,跨模型均值只在 12 个共同设定上算。
两个自变量。其一是标签描述语言,分英文(EN)、越南语(VI)与英越双语(EN+VI)三档,标签身份与顺序在三档之间保持不变,EN 为主参照;其二是三种独立的输入扰动,均保留原标签:teencode(口语化缩写,如 không→ko)、打字噪声(Telex 相关替换、变音符号改动与字符级编辑)、去变音符号(去掉声调与元音符号,含 đ→d)。NLI 任务上 teencode 与去变音同时作用于前提与假设,打字噪声只作用于假设。
主指标是 macro-F1(在 gold 出现过的类上算),另报 accuracy 与 weighted-F1;鲁棒性用同一模型配置下"扰动后减原始"的 macro-F1 差值度量。51
关键结果:
  • 英文标签下 JEV 最强:13 个设定里 11 个第一,12 个共同设定均值 69.22,Quyet 53.61、LAYA 43.23、GLiNER 31.26(表 1、§4.1)。
  • 意图任务差距最大:PhoATIS 上 JEV 得 79.26,比次优高 51.54 分;ViMQ 得 80.20,高 41.43 分;PhoATIS 有 28 个候选意图,说明大标签集本身不是瓶颈(§4.1)。
  • 去变音符号伤害最大且一致:四模型均值分别下降 9.51(JEV)、13.77(LAYA)、14.75(GLiNER)、15.47(Quyet)分,48 个模型–设定比较里有 47 个下降(表 4)。
  • 但"谁最稳"随扰动类型换人:teencode 下 Quyet 掉得最少(−0.47),打字噪声下 LAYA 掉得最少(−2.87);LAYA 在 UIT-ViOCD 上三种扰动全部上涨,打字噪声下 +9.58 分(表 4)。
  • 标签语言的影响因模型而异:JEV 三档均值只差 0.35 分(EN+VI 最高,69.44);Quyet 与 LAYA 在 VI 下最好,但双语描述下大幅下滑(LAYA 在 ViMQ 上 −18.70);GLiNER 在 VI 与 EN+VI 下把 ViNLI 全部判成 other(表 2、§4.4)。
  • 错误集中在少数标签而非均匀混淆:UIT-VSFC 情感上四个模型都把 395–1,875 条判成 neutral(gold 只有 167 条),neutral 精确率 7.36%–27.09%;GLiNER 把 UIT-VSMEC 的 693 条中的 692 条判成 other(§4.3)。
  • 扰动强度本身差得很远:teencode 只改动 61.70% 的输入、编辑负担 2.14%;打字噪声 90.18%/4.93%;去变音 98.10%/18.28%(表 3)。51
证据与局限:原文自陈:原文未单列局限。我判断:全文是单次运行,没有 seed、置信区间或显著性检验,"11/13 第一"这类排序没有不确定性估计,三档标签语言之间 0.35 分的均值差不宜当作"稳定"的证据;四个模型的评测设定集合并不齐(Quyet 缺 PhoATIS),跨模型均值只在 12 个共同设定上可比;三种扰动的覆盖度与编辑负担差了一个数量级,原文没做等编辑负担的对照,所以"去变音符号伤害最大"里既有正字法因素也有扰动更强这一因素,不能直接归因为越南语正字法更敏感。51
复现:原文未提供代码或数据链接;只给出三个开源检查点的模型卡地址——https://huggingface.co/convaiinnovations/laya-multilingual、https://huggingface.co/fastino/GLiNER2.5-multi-Decide、https://huggingface.co/chinhnc/Quyet-1.0-Small,JEV 为托管 API。因全程零样本、不训练,没有学习率、卡数或种子可抄;可复用的是评测脚本口径(macro-F1 在 gold 类上算、标签顺序固定、扰动后保留原标签)。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是这个三档标签语言 × 三种正字法扰动的评测矩阵,以及"报每类预测分布而不只报均值"的做法——本例里均值接近的两个模型(JEV 与 Quyet 在 UIT-VSMEC)在 anger/disgust 上的混淆结构完全不同。成立条件是标签集合固定、任务为闭集分类;要把掉分归因到正字法,必须自己补一组等编辑负担的对照扰动。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
点图,11 行 × 9 个系统的横向散点,一行是一个越南语评测设定(自上而下为 UIT-VSFC·情感、UIT-VSMEC、UIT-VSFC·主题、NEU-ESC、ViNLI、ViMedNLI、vnNLI、ViMQ、UIT-ViCTSD、ViHSD、UIT-ViOCD),横轴是 Macro-F1(%),刻度 0 到 100,每 10 一个格。图例区分四类决策模型与五个通用 LLM:JEV 红色五角星、LAYA 竖线、GLiNER 叉号、Quyet 菱形,Gemma-3-27b-it、Qwen3-32B、Llama-3.3-70B-Instruct、GPT-4o、GPT-4.1 为不同颜色圆点。可读出设定之间的量级差:UIT-ViOCD 一行整体挤在 85–95 之间,NEU-ESC 一行整体落在 27–38 之间;GLiNER 的叉号在多数行落在最左端,而四个决策模型的点与五个 LLM 的点在若干行犬牙交错,没有哪一族在 11 行里都靠右(arXiv:2610.31422)。

52. 有效模拟对话率 46.2%,是既有最强模拟器的 3.28 倍 · arXiv:2610.31512 · 精读

Towards User Simulators That Stay On Task And Still Sound Natural · arXiv:2610.31512 · 精读
作者与机构:Mustafa Omer Gul(Cornell University;工作完成于 Microsoft Research 实习期间)、Philippe Laban、Tanya Goyal、Jennifer Neville(三人同属 Cornell University 与 Microsoft Research)。四位作者共用同一联系邮箱行。
研究问题与核心方法:
要问的是:用户模拟器能不能既忠实执行复杂任务意图、又像真人那样说话,而不是在"会跟任务"和"像人"之间二选一?
问题出在现有两条路各偏一头。提示一个强助手去扮演用户,意图跟得住但话太完整、太工整;用真实对话里的用户轮做 SFT,行为像人但常提前收尾、漏掉任务要求。作者的路线是把 SFT 模型当起点而不是终点,再用多轮 RL 把任务忠实度补回来。
数据从 WildChat-4.8M 的非毒性子集来。沿用前人清洗流程并去掉只有一轮的交互后,规模从 3,199,860 段降到 199,249 段;用 Qwen3-30B-A3B-Instruct-2507 为全部对话抽 intent(给模拟器的高层目标),再用强 GPT 模型 few-shot 抽子目标(用于覆盖奖励);10,000/1,000 段留作 RL 训练与验证,3,200/1,000 段留作判别器训练,其余做 SFT。
奖励是四项相乘。r = r_quality × (r_coverage + r_naturalness + r_termination):质量项是三项硬检查(逐字复述意图、逐字复述历史用户轮、中途从用户切到助手)的 0/1,为 0 则整段对话得 0;覆盖项由 LLM 裁判算子目标被说出的比例;终止项在子目标说全且出现 ⟨endconversation⟩ 时给 +λ、没说全就终止给 −λ(λ=0.2)。
自然度不用 LLM 裁判,改用判别器。作者的理由是自然度包含句式、节奏、追问连贯等无法枚举成指令的隐性维度,而提示式 LLM 裁判在区分真人与 AI 文本上本来就不可靠;于是用 ModernBERT-Large(395M)训一个二分类判别器,只看用户轮、不看助手轮(否则助手文风会让真假一眼可分),奖励取"被判为真人概率 >0.5"的二值。
判别器必须跟着策略一起动。固定判别器会在 75 步内被刷满——靠拉长单轮、减少轮次就能骗过;因此每 25 步用最新 25 步的 rollout 加历史均匀采样重训判别器(各占一半,训 5 epoch 取验证最优),形成 GAN 式交替。覆盖奖励另设一道信息不对称:给模拟器看的 intent c 是抽象版,裁判评分用完整版 c*,只照抄子目标的策略反而拿不到分。52
关键结果:
  • 有效率 46.2%:是已发布最强模拟器 SFTUser-14B(14.1%)的 3.28 倍,是自家 SFT 起点(27.8%)的 1.66 倍;覆盖 88.0%、自然度通过率 71.8%,两项均为所有被测模拟器最高(表 1、§4.1)。
  • 成本差三个数量级:生成 100 段有效对话花 0.11 美元,GPT-5.6-Sol 为 205.20 美元(§4.1)。
  • 复杂度上去仍守得住:7 个子目标时有效率 12.6%(覆盖 79.4%),所有先前模拟器都低于 1%;5 个子目标时 36.6% 对自家 SFT 的 11.3%(表 2)。
  • 静态自然度奖励会被反噬:固定判别器在 75 步内被刷满;用 LLM 裁判或只训一次的判别器做自然度奖励,产出的对话比完全不给自然度奖励更容易被识别为 AI(§2.3、§4.4、§5)。
  • 行为统计贴近真人:人参考的子目标重复率 38.8%、纯重复轮 33.3%,UserLM-2.0 为 39.0%/33.0%;提示式助手则过度重复(DeepSeek-V4-Pro 为 64.9%/57.4%)(表 3)。
  • 与人仍有明显差距:人参考有效率 80.2%,自然度高 28.2 分、覆盖高 8.0 分(表 1、图 1)。
  • 训练开销很小:GRPO 只跑 156 步(1 epoch),batch 64、group 8,判别器每 25 步重训一次。52
证据与局限:原文自陈:训练与评测只在 WildChat 的纯聊天场景,没有工具或环境,agentic 场景的用户模拟缺数据;助手固定为 Qwen3.5-9B,模拟器对弱助手或强助手的行为未验证;判别器只看用户轮且能看到 intent,其他条件方式未探索;直接对真实用户数据做 SFT 有回吐隐私的风险;这一领域还没有标准评测方法;人参考在质量与覆盖上也不满分,说明指标本身不完美。我判断:用三个独立判别器(其中一个数据集无关的 Pangram)任一通过就算自然度过关,比只信单一判别器稳,但它们都以"像不像 WildChat 用户"为标尺;"有效"的阈值(覆盖 ≥0.8、自然度 ≥0.5)是作者自定,46.2% 只在自家口径内可比,引用时必须带口径与人参考 80.2% 这个天花板。52
复现:模型 https://huggingface.co/microsoft/UserLM-2.0(原文图 1 旁给出该库)。关键配置(§3.2、附录 B.2):主干 Llama3.1-8B-Instruct,RL 用 verl 实现的 GRPO,batch 64、group 8、每段 rollout 只做一次 on-policy 更新、ε=0.2、KL 系数 β=0.001;AdamW 常数学习率 1e-6、β=(0.9,0.999)、weight decay 0.01、梯度裁剪 1.0;最多 5 个助手轮(附录写 6 个用户轮),用户轮温度 1.0、≤1024 token,助手轮温度 0.7、top-p 0.8、top-k 20、≤2048 token;判别器为 ModernBERT-Large 395M,每 25 步重训、训 5 epoch。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是两件具体装置:一是把"自然度"从 LLM 裁判换成随策略重训的小判别器,二是给模拟器的意图比给裁判的意图更抽象,用信息不对称阻止照抄子目标刷覆盖。这两条对任何用模拟用户跑多轮评测或合成训练的流水线都直接可用;成立条件是手上有目标人群的真实对话语料作参照,否则判别器学不到"自然"。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
上半部是一个任务意图(为从 CanvasDraw 迁到自家图形库的用户写迁移指南,先列结构再写前言)分给三个模拟器后产出的对话:左栏 GPT-5.6-Sol 提示式,覆盖 100.0%、自然度 0.0%、判为无效;中栏 UserLM-8B(SFT)覆盖 33.3%、自然度 92.9%、无效;右栏 UserLM-2.0 覆盖 100.0%、自然度 85.1%、有效。下半部两块:左下散点以自然度通过率(%,0–100)为横轴、任务意图覆盖(%,50–100)为纵轴,红点为提示式助手、方块为微调模拟器、星为 UserLM-2.0、菱形为人参考;右下横条是有效对话比例,人参考 80.2、UserLM-2.0 46.2、SFTUser-14B 14.1、UserLM-8B 13.0、GPT-5.6-Sol 6.7、USP 5.0、Kimi-K2.6 4.0、GPT-5.6-Luna 3.4、Qwen3.5-9B 1.6(arXiv:2610.31512)。

53. 三款 WhatsApp 分诊机器人都在用户淡化症状后降级,5,000+ 轮模拟复现 · arXiv:2610.30412 · 值得扫读

SIM-UT: A User Simulation based Evaluation Framework for Medical Triage Chatbots · arXiv:2610.30412 · 值得扫读
作者与机构:Deepali Mittal、Dheeraj Mundhra、Yulia Sidorova、Tersia de Kock、Oli Munns、Sofie S Meyer,集体署名 UserTrace · Cliniva · hearX Foundation · University of Pretoria · Respira Health · Turn.io,通讯 research@getusertrace.com。研究对象是三家真实上线的 WhatsApp 健康机器人:南非 hearX Foundation 的听力健康支持、肯尼亚 Cliniva 的糖尿病与生活方式教练(女性基层医疗的一部分)、印度 Respira Health 的呼吸康复入组筛查。
研究问题与核心方法:
要问的是:在用户语言混杂、常常只回一个错拼的词、又会在多轮里不断淡化症状的真实分诊场景,现有单轮英文基准漏掉了哪一类失效?
评测维度按部署分别定义。三个部署各由本地临床专家给出临床安全、范围遵守、沟通质量、情境相关性等维度的具体定义(例如南非的范围是耳与听力相关,肯尼亚的是糖尿病与生活方式教练,且要核对 WHO 的产前保健与妊娠高血糖标准),再交给 claude-sonnet-4-6 做逐轮与整段对话的 LLM 裁判;定义在每轮模拟后按临床反馈迭代。
模拟用户由"场景 × 人设"生成。南非:37 个场景映射到 5 个人设(家长、幼教、校长、社区健康工作者等),覆盖儿童耳科急症、课堂支持、课程事务、聋人文化态度、社区与家长提问,并显式加入索要诊断、索要用药、跑题等探针,跑 3 轮。肯尼亚:每轮 15 到 55 个场景(逐轮增加)× 10 个人设,覆盖日常饮食运动问答里突然出现的急症、错误信息与自行停药、食物与费用约束、产后与孕产急症,跑 4 轮,被测模型为 ChatGPT 与 MedGemma。印度:43 个场景,由两位物理治疗师在模拟前逐一标注为转诊/合格/不合格,被测模型为 Claude 与 MedGemma,跑 2 轮;该机器人会先追问 1–3 个澄清问题再给结论。
规模与轮次。每次模拟最多 10 个来回;三地分别产出 2,200、2,970、800 轮,合计 5,970 轮,与摘要的"5,000+"一致。每轮迭代把发现的失效模式反馈进 prompt、harness 与评分标准;肯尼亚另做了四处路由层修复(会话记忆按 journey session 隔离、会话结束守卫、升级出口不再直接结束会话、路由条件与 prompt 对齐)。53
关键结果:
  • 主失效模式是"降级"(de-escalation):首轮正确识别急症(18 周阴道出血、32 周胎动减少、耳部感染后疑似脑膜炎),用户在不提供任何新临床信息的情况下淡化症状后,模型在下一轮撤回升级并结束对话(表 2)。
  • 修复后能连续顶住六种淡化:严重度("真的只有一点点")、自述已缓解、怕白跑一趟、无疼痛、伴侣不在、网上查到的安慰——六次之后仍维持急诊建议(表 3)。
  • 范围遵守:南非 ChatGPT 84%→100%、MedGemma 74%→97%;肯尼亚 40%→95%、53%→98%(§4.3)。
  • 沟通质量:南非 ChatGPT 42%→97%、MedGemma 26%→95%,是提升最大的维度(§4.3、图 4)。
  • 印度:43 个场景整体准确率 86%→92%,不安全入组从 4/18 降到 0/14(§4.3)。
  • 提升不全来自模型:肯尼亚有四处问题最终定位在模型周围的路由层(会话记忆串场景、结束节点在"谢谢"上触发、升级动作把用户送回主菜单、路由条件与 prompt 冲突),只改 prompt 无效(§4.4)。
  • 模型侧弱点:MedGemma 默认冗长、爱用分点与结构化模板,加了 600 字符上限后仍需额外 prompt 工作;Hinglish 下漏掉 "doctor ne rest karne ko kaha"、"sirf ek hafte se" 这类决定入组资格的限定语(§4.2)。53
证据与局限:原文自陈:人设与场景是有限集合,真实用户的语言与识字水平更分散、对话更长;肯尼亚与南非的 ground truth 由单一临床医生设定,且有一例(阴道出血被路由到医生复核而非急诊)在评测组与部署方临床负责人之间仍有争议;印度部署里裁判模型与被测 agent 同属 Claude 家族(但 ground truth 由物理治疗师预先标注,裁判只做匹配);所有修复都要在底层模型每次更新后重验。我判断:每轮场景数在增加(肯尼亚从 V1 的 15 到 V4 的 55,南非从 V1 的 19 到 V3 的 37,图 4),所以"84%→100%"不是同一固定测试集上的对比,难度与分数同时在涨,方向可信、幅度不可直接引;肯尼亚 V1–V3 受跨场景记忆串扰影响、V3 的 MedGemma 还因路由故障完全没发出升级动作,这三轮分数应打折看。53
复现:原文未提供代码或数据链接;结论称将在后续工作中把 SIM-UT 与测试、基准数据集一起开源。可抄的是评测设置而非超参:三个部署各自定义 rubric、场景数与人设、每轮最多 10 个来回、被测模型组合(ChatGPT/Claude/MedGemma)、裁判模型 claude-sonnet-4-6,以及"用户淡化但不引入新临床信息"这一组对抗模板。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是"场景 × 人设 × 最多 10 轮"的模拟矩阵,以及"淡化而不给新信息"这条对抗模板——它比让模拟用户直接说"我很严重"更容易暴露谄媚式降级,且这类错误不会被满意度指标抓到(用户刚淡化完症状,得到的降级回复正合心意)。成立条件是每个部署都用本地临床专家重写评分标准;直接套用别处的 rubric 会漏掉本地急症。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
并排三块手机截屏,都是 WhatsApp 界面,绿色气泡在右为模拟用户、白色气泡在左为被测 agent。左:肯尼亚 Cliniva(时间 11:31),用户先报"早上开始的头痛、也许是压力",agent 追问红旗症状与血压,用户在 1:15 PM 补出"我怀孕 30 周",agent 随即要求当天就医查血压并排查子痫前期。中:南非 hearX Foundation(11:32),家长报"孩子耳部感染后严重头痛、不愿开灯",agent 先发了一条"转人工"提示,随后仍给出"今天就去急诊"的升级。右:印度 Respira Health(12:02),助手自称 Asha,用 5:01–5:03 PM 三轮追问呼吸问题的性质、时长与用药,用户回答极短("5 saal se copd ha"、"haan"、"inhaler aur bp ki"),演示的是药物信息含糊的场景(arXiv:2610.30412)。

54. IQuest-Q1:320B/15B 激活,编码基准落后 Claude 9.1 分 · arXiv:2610.30949 · 邻近跟踪

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems · arXiv:2610.30949 · 邻近跟踪
作者与机构:团队署名 IQuest Research(原文首页只印团队名,未列个人机构)。作者名单以 A. Jian Yang 起首,带 ∗ 者标注为核心贡献者,† 为资深顾问委员会,通讯作者为 Bryan Dai(‡)。
研究问题与核心方法:
要问的是:把一个大稀疏 MoE 专门练成命令行(CLI)智能体,预训练稳定性、中训课程与"多脚手架 + 多教师蒸馏 + 模型合并"这套后训练,各自能换来多少真实能力?
架构先定。88 层 Transformer、隐维 3,072,48 个 query 头与 8 个 KV 头(每头 128 维),每层 256 个路由专家、按 token 激活 8 个(专家中间维 1,536),词表 160,000;注意力是 GQA 与滑动窗口交替,滑窗 4,096,首两层与末两层用全注意力,块内局部:全局 = 3:1;第一层故意用稠密 FFN,缓解最浅层的专家负载不均;另加两个多 token 预测(MTP)层,loss 权重 0.3。
预训练靠三件事稳。Stable SplitNorm 增加有效深度,Muon 优化器配 μP 参数化做跨规模学习率迁移,两阶段课程在第二阶段提高代码数据比例;学习率先预热到 6e-4 并在 Stage 1 保持,Stage 2 末降到 2e-4,中训末降到 6e-5。作者用"最大安全学习率与最优学习率之比"作为可扩展性代理指标,外推到 572B 激活参数、12T 总参数仍有裕量。
中训扩面再拉长上下文。数据由高质量自然语料、QA 与 agentic 轨迹三类组成,用 token 级 loss mask 代替按角色掩码;上下文按 32K→128K→512K 三阶段延长,全局注意力的 RoPE base 从 500,000 升到 1,000,000;从兼容仓库构造可执行容器实例(论文称"超过一百万个实例"),rollout 后只保留有效且完整的轨迹。
后训练把多个脚手架并进一个模型。任务合成分通用(RapidAPI/Smithery 的 API 与 MCP、公开技能)、推理(文档驱动、控制概念覆盖与难度)、编码(从 GitHub 仓库与工业数据建可执行环境,验证器由 agent 写测试、仓库测试与文档行为检查组合)三类,并用 agent-judge 回路查可执行性、泄漏与一致性(参考解必须过、空操作必须败);随后 SFT → 领域 RL → 多教师 on-policy 蒸馏(MOPD,四个冻结专家:终端体验、多 harness、长程编码与安全、通用 agentic),最后按参考检查点的参数 delta 加权合并并做全局 L2 校准。
防作弊是单独一层。环境准备阶段清 Git 历史、移走可能泄漏解的文件;执行期限制外网与敏感文件、拦截工具调用;轨迹事后用规则加 rubric 式 LLM 判断审计,确认作弊的轨迹从训练集剔除。54
关键结果:
  • 编码主力项:DeepSWE v1.1 得 64.6(GLM-5.3-Flash 63.4、DeepSeek-V4-Flash-0731 54.4、Tencent Hy3 28.0),但 Claude Opus-5 得 73.7、GPT-5.6-Sol 73.0;SWE-bench Multilingual 80.3、SWE-Bench Pro 57.5、NL2Repo-Bench 63.0、CyberGym 84.5(表 2)。
  • 长程终端是短板:Terminal-Bench 2.1 得 83.2(Claude 89.1),但 3.0 与 4.0 只有 17.9 与 22.7,Claude 为 42.7 与 53.9,GPT-5.6-Sol 为 34.6 与 37.3(表 2)。
  • 通用与推理:GPQA Diamond 93.3、IMOAnswerBench-Verified 93.0、Humanity's Last Exam 39.2(带工具 55.7)、Toolathlon-Verified 75.0、Claw-Eval 77.1、BrowseComp 85.5、JobBench 55.7;HLE 与 CritPt(18.3,Claude 29.1)仍是缺口(表 2)。
  • 自家 CLI 基准上并未领先:IQuest-CLIBench 得 53.7,Claude Opus-5 58.2、GPT-5.6-Sol 58.5;该基准是私有、以脚本驱动用户模拟考人机协作(表 2)。
  • 自进化案例给出了可核对的量:模型在一个长程任务里产生 35 次工具调用错误,agent 自行追踪 6,054 次调用,定位到训练数据偏向单一 tool-call schema 且部分记录定义与参数不匹配;人工审核后按清洗加混合 schema 增广重训,用 2.35B token、938.7 GPU 小时(§6.2)。
  • 安全侧外证:三天部署中,人类安全专家借助该模型产出 30 份漏洞报告,全部经同行专家独立复核,影响开源项目的已按流程披露(§6.3)。54
证据与局限:原文自陈:纯文本输入,无图像/音频/视频;生成内容可能出错,代码改动需测试核验;工具调用依赖自家 chat template 的专用格式与兼容的解析器、harness;真实 CLI 任务常需反复调试,模型可能忽略约束、重复失败或留下未解决问题;能力与可靠性仍在演进。我判断:这是模型报告而非可复现实验——没有给出预训练 token 总量,全文没有一处消融(除与 Qwen3-MoE 的 scaling 效率对比外),中训课程、MOPD、模型合并各自贡献多少无从判断,也没有第三方复跑;表 2 中带 * 的基线成绩是作者自测,私有 IQuest-CLIBench 上自家模型仍落后闭源两家,因此"CLI 交互体验优化"目前只有内部证据。RSI 那一段是单个案例(n=1),只能当流程演示,不能当"自进化已跑通"的证据。54
复现:原文未提供代码或数据链接,正文只声明发布模型权重、部署配置与 agent 集成说明,未印出仓库或模型库地址。可抄的训练配置(§2.2、§3.2):除 token embedding、LM head、归一化参数与 MoE router 外用 Muon(动量 0.95,正交化更新按 0.2√max(m,n) 缩放),其余用 Adam(β1=0.9、β2=0.95、ε=1e-15);weight decay 0.1(LayerNorm 除外);QKNorm 仿射参数上限 10;MTP loss 权重 0.3;中训三个阶段的学习率共用一条 cosine 曲线、阶段切换时重初始化优化器状态但保留进度。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是"同一策略在多 harness、多版本上同批训练 + 四专家 MOPD + 按参考检查点做 delta 合并"这套把不同 scaffold 行为并进一个模型的流程,以及用"可执行容器实例 + 组合验证器 + 参考解必过/空操作必败"筛轨迹的做法。成立条件是能自建百万级可执行任务与可靠验证器,并接受合并后的模型在长程终端任务(Terminal-Bench 3.0/4.0)上仍明显落后最强闭源模型。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
一条从左到右的五段横向流水线,每段一个圆角卡片,卡片内分"数据"与"方法"两栏。01 Pre-Training:Diverse data(Web、Code、STEM…)与 Architecture(Stable & Efficient Scaling);02 Mid-Training:Agentic & Reasoning 的 QAs、Knowledge、Agent 数据,以及 Context Extension;03 SFT:Task Synthesis 于 Real-World Envs,Fine-Tuning 于 Verified Agentic Data;04 RL & MOPD:Domain-Specific RL、Multi-Harness、Verifiable Env,并标出"4 Experts → Student";05 Model Merging:多个 Model 1…Model N 的箭头汇进一个深蓝方块,产出 IQuest-Q1。段与段之间是单向箭头,没有坐标轴或数值刻度(arXiv:2610.30949)。

55. 五种上下文增强的最大增益也不达标:21 个组合里教师解释仅 8 个通过符号随机化 · arXiv:2610.30983 · 精读

A Reality Check of Inference-Time Context Augmentation Methods · arXiv:2610.30983 · 精读
作者与机构:Haeun Yu(University of Copenhagen;工作部分完成于 Nokia Bell Labs 实习期间)、Geert Heyman(Nokia Bell Labs,比利时安特卫普)、Pepa Atanasova、Isabelle Augenstein(University of Copenhagen,哥本哈根)。
研究问题与核心方法:
要问的是:推理时往上下文里插入内容带来的准确率提升,究竟是"把模型推向正确答案",还是"没有方向地扰动预测、恰好蒙对几道"?
五个方法按"插入内容携带多少信息"排成一条线。Blank 插入与句子等长的空白,只增加计算;Repeat 原句复制;Paraphrase 用 GPT-5.4-Mini 改写、保持语义;Self-explanation 让被测模型自己解释该句;Teacher-explanation 让 GPT-5.4-Mini 解释该句。后两者的生成模型只看上下文、不看问题与选项,避免解释里直接写出答案。
干预粒度统一到句子。对一个有 N_c 句的上下文,在每个句子后各插一次,得到 N_c 个干预输入,全部配同一道题——这样五个方法的干预位置可比,也能单独考察"插在哪"。
数据选"答案不在上下文里"的任务,否则含答案的那一句会天然成为最佳位置。MedQA 1,270 题(8,998 句)、MMLU 取五个人文与医学多句科目 2,310 题(15,063 句)、DRUID 事实核查 2,669 题(15,269 句,只取 support/refute 二分类);被测为七个开源指令模型,1B 到 72B(OLMo-1b/7b、Llama-3b/8b、Gemma-4b/27b、Qwen-72b),全英文,且刻意不含推理模型,以免思维链与插入文本互相干扰。
指标把准确率拆开。句均准确率 Acc_sent = Acc_orig + Corr − Brk,Corr 是"错改对"的位置比例、Brk 是"对改错"的比例。关键的符号随机化检验:对每个输入取正确答案与最强错误答案的对数概率差作为 margin,算干预前后的 Δ;保留每个 Δ 的绝对值、随机赋 ±1 号,重算 Corr 与 Brk 共 1,000 次,得到"同规模但无方向"的零分布;只有观测 Corr 超出零分布 95% 区间、而 Brk 不超出时,才算把模型有方向地推向正确答案。55
关键结果:
  • 加信息的方法确实涨分:MedQA 上 Teacher-explanation 在 7 个模型中的 6 个上把句均准确率提高 2.0–9.3 分,Self-explanation 在 5 个模型上提高 0.3–3.7 分(表 2、§5.1)。
  • 但最大的两个增益不通过检验:Teacher-explanation 在 Gemma-4b 上 +9.3、在 OLMo-7b 上 +7.0,两者的 Corr 确实大于 Brk(净增益因此为正),但 Brk 同时显著高于同规模无方向扰动,属于"修好一些、弄坏也不少",净增益不能读成被有方向地推向正确答案(§5.1)。
  • 通过率随信息量上升但仍然低:Teacher-explanation 在 21 个模型–数据集组合里通过 8 个,Self-explanation 6 个,Repeat 与 Blank 各 4 个,Paraphrase 只有 Qwen-72b 与 Gemma-27b 各 1 个(表 3)。
  • 准确率不动不等于没影响:OLMo-7b 在 MMLU 上 Teacher-explanation 只让句均准确率变 0.1 分,却改变了 19.1% 干预位置的预测;Blank 在 OLMo-7b 上 +3.2/−3.0,正好互相抵消(§5.1)。
  • 只加算力的方法主要动决策边界附近的样本:无论翻向正确还是翻向错误,margin 的移动幅度相近(图 2)。
  • 位置无法预先挑:正确与错误的预测都能在约一半的句位置上被翻转,句子词法特征与"插在最后一句"都选不出好位置(图 3、§6.2–6.3)。
  • 模型差异明显:OLMo 系以无方向扰动为主,Qwen-72b 与 Llama 系通过检验的次数最多(表 3、§5.2)。55
证据与局限:原文自陈:数据集全是多项选择与二分类,用 log-likelihood 给选项打分而非自由生成,结论未必适用于开放式生成;一次只在单个句子后插一次,而前人通常对整段上下文插一次,组合多种干预时结论可能不同;七个模型都是 1B–72B 的指令微调非推理模型,以避开思维链与插入文本的交互;全英文。我判断:符号随机化检验补的正是这个领域缺的一环——它不依赖 seed 方差、可复现,且能把"准确率涨了"拆成 Corr 与 Brk 两条;但 21 个组合里通过数最高只有 8,原文也没对 21 次检验做多重比较校正,所以"加信息的方法更可靠"只能是弱倾向;此外所有结论都以 margin 为中介,只在"答案可由 log-prob 比较"的任务上成立。55
复现:原文未提供代码或数据链接;所用数据与模型均为公开资源(MedQA、MMLU、DRUID 与七个开源权重),句子切分用 spaCy 的 en_core_web_sm,核心指代用 coreferee,可读性用 textstat。算力可参照:每个(模型、方法、数据集)组合在 AMD Instinct MI250X 上跑 1–2 小时,Qwen-72b 在 NVIDIA B200 上约 0.5 小时;随机化次数 B=1,000。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬的是这个检验本身:任何"改了 prompt / 加了检索片段 / 插了自解释,准确率涨了 2 个点"的结论,都可以用"保留每个 margin 变化的幅度、随机化符号 1,000 次"来判断涨分是否带方向,代价只有一次前向的 log-prob。成立条件是答案可以用候选集合上的对数概率比较;若评测走生成式判官或人工评分,需要另造可比的 margin 定义。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
三层竖向流程。第一层"Context augmentation methods"把五个方法分两组:只加算力的 Blank、Repeat、Paraphrase,以及既加算力又加新知识的 Self-explanation、Teacher-explanation。第二层"Effect of context augmentation"用一条竖向虚线把区域分成左侧红色 Wrong prediction 与右侧绿色 Correct prediction,空心圆是基线、箭头指向干预后的位置,绿色箭头表示错改对、红色箭头表示对改错,标注"每个上下文与插入位置一个箭头"。第三层"Sign-randomisation test"画出"同幅度、随机方向、重复 ×1,000":左侧叠放的几张卡片上箭头方向被随机翻转,右侧柱状图是零分布(标 undirected perturbation),一条深蓝竖线标出观测值落在零分布之外的 directed improvement 区(arXiv:2610.30983)。

九、语音与音频:TTS 生成与三类评估口径

语音栏 12 篇里 5 篇进正表,都围绕「这条语音到底好不好」怎么下判断。
两篇生成。HeyGen Voice 的场景对齐 0.637、参考相似度 0.757,但 50 场景的视频研究里整体偏好 50.7%、p=1.000——「优于商业系统」在统计上不成立。EmoFI-TTS 用人脸定情绪强度,三档准确率 76.4 / 42.8 / 74.1,不加权平均 64.4%。
三篇评估各自补一个洞。MixJudge 把混音判断拆成 11 个可查询的问题标签;MQAScore 把文本-音乐对齐拆成 5 个原子概念,人声维度 AUC 0.966;Verifier's Floor 指出识别器在真人极罕见词上就漏 32.9%,于是 TTS 报告里的「读错」有一部分是验证器自己的地板。

56. 场景感知语音克隆:场景对齐 0.637 与参考相似度 0.757 由两套策略各取最高 · arXiv:2610.30470 · 值得扫读

HeyGen Voice: Scene-Aware Voice Cloning for Talking Videos · arXiv:2610.30470 · 值得扫读
作者与机构:第一作者 Pavel Andreev(HeyGen Research),共 18 位作者,原文首页只署一个机构块 HeyGen Research,未标注通讯作者,也没有外部合作单位。训练语料与算力沿用同门 Avatar V 的报告(HELIOS 平台),原文对数据细节采取引用而非重述。
研究问题与核心方法:
要问的是:对着一段手机录的音做克隆,能不能既保住这个人的音色,又让语气和声学环境跟着画面里的场景走,而不是把手机麦克风和房间一起搬进新视频?
条件前缀由六路输入汇成:目标图像、说话人 caption、背景 caption、参考音 tokens、一致性嵌入、局部声学上下文(表 2)。每路都经冻结编码器加注意力池化压成固定数量的 token,所以前缀开销与输入长度无关,Transformer 在同一前缀里跨模态共同注意。
生成侧是一个自回归 Transformer,在一个序列上依次看到前缀、脚本 token 和声学码,逐码预测;声学码来自在 mel 频谱上预训练的 VQ 编码器。声学码随后交给 flow-matching 扩散 Transformer,以 Transformer 隐状态与参考音频为条件,在连续 latent 上积分,再由波形解码器输出 44.1 kHz 音频——解码器本身没有图像输入。
训练分五段:多语种监督 TTS 预训练;模拟跨场景适配,把参考音过一组信道与时间扰动、目标与图像条件保持不变,切断「参考即目标」的捷径;真实同人跨场景对的 SFT,配对跨源视频挖掘、优先条件差异大的对;GRPO,奖励是可懂度(字符与词错误)加说话人相似度(在人声分离后的音频上算);最后在低秩 adapter 上做 DPO,先用前沿多模态裁判造偏好对,再用人工偏好纠偏。
推理时两个 clone policy 决定锚点从哪来:voice-clone 用图像与 caption 设计一份新的声学实现当锚点,只留参考音的音色、口音与语速;full-clone 直接拿处理过的参考录音当锚点,把房间和麦克风一并延续。长脚本按语言特定字符预算切块,每块复用锚点的一致性嵌入,并在每块生成后更新局部声学上下文;参考音频上限 60 s。
评测分五块:331 例同人不同场景基准(278 条 TalkVid、53 条 CelebV-HQ、155 个说话人簇)、十语种内容保真、五语言 245 例成对听测、生产环境自选声音盲测(8,332 + 7,286 + 6,153 = 21,771 票)、以及两项视频研究(43 人自评、50 个场景盲比)。听测的分母是 245 例 × 每例每方面 5 次评分 = 1,225 票/方面,× 5 个方面 = 6,125 票/系统对,× 7 对 = 42,875 票;分析用按 case 整例重采样的 bootstrap(20,000 次,子集 4,000 次)加 case 级符号翻转检验,35 个检验共用一个 Holm 家族。56
关键结果:
  • 331 例跨场景基准(表 5):voice-clone 的场景对齐全场最高(audio–audio 0.637、audio–image 0.282),对目标说话人相似度 0.590(Cartesia 0.582、ElevenLabs v4 0.556);full-clone 对参考相似度最高 0.757(Cartesia 0.745);Inworld 在四项上全部垫底(0.464 / 0.567 / 0.544 / 0.231)。
  • 十语种 content fidelity(表 6,每语种 100 条、宏观平均)用「只计两家一致」的 CER:HeyGen 0.0153%、ElevenLabs v4 0.0127%、Qwen3-TTS 0.0278%、Inworld 0.0349%、Cartesia 0.0787%。作者据此判定该量级下基准已不区分系统,CER 只当诊断用。
  • 245 例听测(表 9):voice-clone 在 narrator choice 上对 ElevenLabs v4 拿 61.5±3.4%、对 Cartesia Sonic 3.6 拿 77.9±2.8%、对 Inworld 拿 68.1±3.3%,clarity 一项最高到 86.6%;但对 ElevenLabs 的 naturalness 是 50.2±3.6%(打平),reference similarity 只有 43.1%。
  • 生产盲测(表 11,2026-10-02 快照):用户选「像自己的那个声音」,对 ElevenLabs v4 62.2±1.1%(8,332 票)、对 Cartesia 54.1±1.2%(7,286 票);三选一 41.7±1.3%(6,153 票)对随机 33.3%,Cartesia 35.3%、ElevenLabs 23.0%。
  • 第三方竞技场(图 9,2026-10-09 快照):voice-clone 以 Elo 1201±17 排第一,其后 Qwen-Audio-3.1-TTS-Plus 1182±15、Eleven v4 Turbo 1166±14、Eleven v4 1162±15、Cartesia 与 Inworld 均 1142±14。
  • 43 人自评数字人视频(表 12、表 13):voice-clone 76.1±5.3、full-clone 72.6±5.8、Cartesia 63.1、ElevenLabs 59.2、Seedance 2.5 45.7(1–100 分);配对差 +9.5 到 +16.9 点(Holm p≤0.016),对 Seedance 是 +26.9 与 +30.3;两套策略之间 p=0.39,Cartesia 与 ElevenLabs 之间 p=0.53。
  • 50 个声学场景视频盲比(表 14,每格 250 票):对 Cartesia 三问全胜(整体偏好 64.5%、声学贴合 65.0%、环境声贴合 73.3%,Holm p≤0.017);对 ElevenLabs 只在环境声贴合上赢(69.7%,p=0.002),整体偏好 50.7%(p=1.000);对 Seedance 环境声 65.3%(p=0.017),整体偏好 55.9%(p=0.954)。56
站内摘要出入:摘要写「在多项测试中优于 ElevenLabs 等商业系统」,原文是分维度的——voice-clone 对 ElevenLabs v4 的 reference similarity 只有 43.1%,50 场景视频的整体偏好 50.7%(不显著),且两套策略之间存在「场景贴合」与「像原录音」的明确权衡;摘要也没提优势主要来自五段课程与两个 clone policy,而不只是多模态自回归 Transformer。
证据与局限:原文自陈:未单列 Limitations 章节,但正文自己划了四条边界——自评视频里两套策略与 Cartesia、ElevenLabs 之间「没有检出显著差异」不等于等效(原文 "These results do not establish equivalence");跨语与同语子集的语言构成不同,两者的落差「不是语言迁移代价的受控估计」;竞技场是全篇唯一一项作者没自己跑的评测,且设计上对参考相似度不敏感;CER 到了 0.0x% 量级「基准已不再区分系统」。我判断:除竞技场外所有对比都由厂商自己设计执行,商业基线一律用默认参数未调参(原文自陈),而 HeyGen 一侧额外拿到目标帧和从真实目标录音派生的 caption 与 SNR 控制,所以表 5 的场景对齐分数不能读成「只凭图像」的能力。真正硬的一块是生产盲测与听测互相印证:8,332 与 7,286 票的独立投票给出 62.2% 与 54.1%,付费听测给出 63.0% 与 53.8%,两条路径几乎重合,且投票者是选自己的声音、无法被基准设计左右。较软的是 50 场景研究:每格只有 250 票、评审固定 5 人,区间是 ±8.0 到 ±10.7 个百分点,所以对 ElevenLabs 的整体偏好 50.7% 与声学贴合 55.0%(同一项 50 场景盲比的两个维度)只能当打平处理。56
复现:原文未提供代码或数据链接;给出的入口是试听与产品页 https://heygen.com/heygen-voice。关键配置:HELIOS 平台调度 5,000 张以上 GPU、支持 20 万个以上并发任务;flow 解码用 CFG 蒸馏接 DMD 的两阶段蒸馏,单并发请求端到端 RTF 约 0.1;输出 44.1 kHz,参考音频上限 60 s;学习率、批大小与随机种子原文未报告。
与目标研究线的关系:属 C(TTS 生成与评估)。最该搬的是评测骨架:在同一批 case 上同时报「对目标录音的相似度」与「对参考录音的相似度」,把「像不像本人」和「像不像这个场景」拆成两个数,再用一对 clone policy 把权衡显式化;narrator choice(「愿不愿意用这个声音讲一整节课」)这种可用性问法,比「哪个更自然」更接近产品决策。这套骨架成立的前提是参考录音必须像真实用户上传的那样脏——论文特意选了日常设备、未处理房间、非专业播音的录音,换成干净参考,full-clone 的优势会被抹平。另一个可搬的是 agreement-only CER:两个独立转写源都判定偏离才计错,不一致的留在分母里记零分,这比单 ASR 的 CER 更抗转写噪声。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
43 名志愿者给自己数字人视频打分的结果,五条横向点线,纵轴自上而下是 HeyGen voice-clone、HeyGen full-clone、Cartesia Sonic 3.6、ElevenLabs v4、Seedance 2.5,横轴是「该系统的得分减去同一参与者五个系统的均值」,单位是 1–100 分量表上的分,刻度 −20 到 +20,零点处一条竖虚线。HeyGen 两条用实心点(+12.7 与 +9.3,区间全在零右侧),其余三家为空心点(−0.2、−4.2、−17.6),误差棒是 88% Goldstein–Healy 区间,图注标明形式显著性另见表 13(arXiv:2610.30470)。

57. EmoFI-TTS:人脸定情绪与强度,MEAD 强度准确率 64.4%、WER 6.9% · arXiv:2610.30477 · 值得扫读

EmoFI-TTS: Face-Conditioned Expressive Voice Synthesis with Intensity Modulation · arXiv:2610.30477 · 值得扫读
作者与机构:第一作者 Yejin Jeon;原文脚注标有 *Equal contribution 与 †Work done at Mila–Québec AI Institute 两条,但 HTML 未保留逐人上标对应关系,故不指定哪几位为共同一作。六个署名单位是 Mila–Québec AI Institute、McGill University、NM-AIST、AIMS Research and Innovation Center、POSTECH(CSE & GSAI)、Canada CIFAR AI Chair,原文未把单位逐人对应。
研究问题与核心方法:
要问的是:不给情绪标签、也不给目标说话人的情绪录音,只给一张脸和一段参考音,能不能合成出情绪类别对、强度也对、音色还是那个人的语音?
设定很直接:文本 t 定内容,人脸 f 定情绪类别与强度,参考音 r 定音色,骨干是 LibriTTS 预训练的多人 FastSpeech2。人脸走 ImageNet 预训练的 ResNet-50,得到 768 维嵌入,训练时对齐 emotion2vec 的音频情绪表征并挂情绪与强度两个分类头,训完冻结;参考音走冻结的 ECAPA-TDNN 加最小二乘概念擦除(原文只说 with least-squares erasure,未说明擦的是哪个属性),得到 192 维音色向量。两者拼接后线性投影成 128 维 style vector,以 affine modulation 注入音素编码器与 mel 解码器。
为了让「人脸定情绪、音频定音色」真正分工,一半训练样本做交叉说话人配对:把人脸换成另一个人、但情绪类别与强度标签相同的脸,参考音仍是原目标说话人。这样人脸里的身份信息与目标音色错配,无法当音色的捷径,音色只能从音频分支来。
强度由一套门控精修补足:冻结的强度分类头复用为预测器,从人脸嵌入取档位 ℓ∈{1,2,3};m′ = m + 1[ℓ≥2]·Δ,Δ = W_o f(W_i m + W_s s + e_ℓ),f 是膨胀卷积堆,W_o 零初始化使模块从恒等映射起步,ℓ=1 直接旁路。监督是四项加权:多尺度 LSGAN、逐 bin 谱方差匹配、L1 内容锚,以及对真实 mel 经同一冻结 HiFi-GAN 后的 wav2vec 2.0 特征匹配;三档嵌入之间线性插值即可做连续强度,不需重训。
数据是 MEAD,去掉 disgust 与 contempt(面部动作单元与其它情绪重叠)以及两位强度覆盖不均的说话人,剩 18,270 条,按说话人 8:1:1 划分,22.05 kHz。MEAD 没有转写,作者先手工认定其 141 条规范句,再用 Whisper-large 转写每条后回配校正。训练为单张 NVIDIA GH200:先 30k 步、批 16 训风格分支,冻结后再 15k 步训精修模块。57
关键结果:
  • 客观强度准确率(表 1):本方法三档 76.4 / 42.8 / 74.1,不加权平均 64.4%;EmoSpeech 42.6 / 56.0 / 18.8(平均 39.1%),FaceTTS 43.1 / 44.9 / 14.9。EmoSpeech 推理时用的是 oracle 情绪标签,本方法全部从一张脸推。
  • 强度精修的作用(表 2):骨干不加精修时 57.2%→整体 56.7%(L3 仅 48.9%),加精修后 64.4%(L3 74.1%),换成 oracle 档位为 67.2%——人脸预测与 oracle 只差 2.8 个百分点。
  • 主观强度准确率(15 名 Upwork 标注员):三档 82.2 / 69.5 / 73.9(平均 75.2%),真实录音是 88.7 / 81.2 / 87.6;EmoSpeech 为 63.5 / 46.3 / 33.8。
  • 内容与自然度(表 1):WER 6.9%(真实 6.6%、EmoSpeech 9.3%、FaceTTS 16.3%),UTMOS 3.14(真实 2.86、EmoSpeech 2.88),MOS 3.25±0.26(真实 3.98±0.20),说话人保真度 4.13。
  • 交叉说话人训练的代价(表 4):加精修后整体强度 64.2%→64.4%、L3 65.9%→74.1%,同时 WER 5.4%→6.9%、UTMOS 3.17→3.14、SIM 78.8→78.5。
  • 融合方式(表 3):concat+linear 的强度 56.7%、说话人迁移 92.1%,优于 sum(55.2 / 90.8)与 cross-attn(55.0 / 90.2),但 WER 6.6% 高于 cross-attn 的 5.7%。57
证据与局限:原文自陈:没有 Limitations 章节,结论把适用范围限定在「speaker-disjoint MEAD」,方法部分说明 MEAD 缺转写、靠 141 条规范句回配,且承认强度只有三个离散档、连续控制只是嵌入插值。我判断:最该警惕的是表 1 第一行——真人 L2 录音在这个 Wav2Vec2 情绪识别器上也只有 34.6% 的准确率,所以本方法 L2 的 42.8% 不能读成「比人更准」,只能读成「更贴合该分类器的决策边界」。同一张表里 EmoSpeech 的 L2 是 56.0%,明显高于本方法的 42.8%,「64.4 对 39.1」这个结论是十二档拉平之后才成立的,引用时不能只说平均值。所有强度数字没有置信区间,测试集条数原文只给 8:1:1 的比例、未报精确数;主观侧 15 名标注员没有报一致性系数,也没说每个条件几人评。交叉说话人训练拿 WER 从 5.4 推到 6.9 换 L3 表达,这部分代价只报了数没有解释,可能与擦除不彻底导致音色信息渗入 face 分支有关,但原文未验证。57
复现:代码 https://github.com/luelhagos/Emofi(原文首页脚注给出)。配置:LibriTTS 预训练 FastSpeech2 骨干,风格分支 30k 步、批 16,精修模块 15k 步,单张 NVIDIA GH200,采样率 22.05 kHz,λ_emo=λ_int=0.1,精修从 ℓ≥2 起生效。随机种子与测试集具体条数原文未报告。
与目标研究线的关系:属 C(TTS 生成与评估)。可直接搬的是分工结构加交叉说话人配对:不需要目标说话人的情绪录音也能做情绪迁移,对配音、有声书这类「同一个人要演不同情绪」的场景正好;用「换脸不换声」的负样本切断身份捷径这一招,也可以搬到任何双模态解耦任务上。精修的门控也值得抄:ℓ≥2 才加残差、ℓ=1 旁路,避免给本来就平静的语音过度加能量。成立条件很硬——强度只有三档且由 MEAD 的拍摄标签定义,换数据集必须重新确认档位语义,否则「L2 42.8%」这类数字无法跨数据集比较。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
系统总览,左中右三段流水线。左上:人脸图 f 经冻结 face encoder 得嵌入,再经 W_f 得 768 维 e_f,旁支 level predictor h_int 直接从人脸给出强度档 ℓ。左中:参考音 r 经冻结 speaker encoder 与 W_r 得 192 维音色向量 z。两者经 concat + linear W_c 合成 128 维 style vector s(实线信号、蓝色虚线条件)。下方:文本 t 依次过 phoneme encoder、variance adaptor、mel decoder 得初始 mel m,s 通过 SALN 的 γ(s)、β(s) 调制编码器与解码器。中右:m 在 ℓ≥2 时进入 intensity refinement,Δ=W_o f(W_i m + W_s s + e_ℓ),输出 m′=m+Δ。末端冻结 HiFi-GAN 出波形;右上橙色虚线箭头是把生成结果与真实 mel m∗ 一起送进 L_FM 特征匹配损失,只在训练时启用(arXiv:2610.30477)。

58. 11 个混音问题可查询,正反判别 83.9%、严重度相关 0.971 · arXiv:2610.30783 · 精读

MixJudge: Learning a Language-Queryable Critic for Vocal Mixing · arXiv:2610.30783 · 精读
作者与机构:第一作者 Kuan-Hsun Ho,其后 Yuan-Chiao Cheng、Yen-Tung Yeh、Yi-Hsuan Yang。原文列四个署名单位:Independent Researcher、Georgia Institute of Technology(Music Informatics Group)、National Taiwan University(Music and AI Lab)、AI-CoRE, National Taiwan University;HTML 未保留逐人上标,故不把个人与单位一一对应。brief 的站内机构只写了 Georgia Tech 与 NTU,缺了第 1 个 Independent Researcher,这一项应以原文为准。
研究问题与核心方法:
要问的是:音频语言模型能给出一段关于混音的对话建议,但它到底能不能对「这条人声是不是太湿」这种具体问题单独作出判断,而且判断随问题严重程度单调变化?
评分形式是一句可比对的余弦相似度:给定 state A=(b,v,m)——伴奏 b、人声 v、两者混合 m——和一句语言化的问题 q,模型输出 s(A,q)=z_A·z_q。融合网络吃 [h_b, h_v, h_m, h_v−h_b, h_m−h_b] 五个带角色嵌入的槽位,2560 维经 2048/1024 GELU 降到 512 维再 L2 归一;差值特征的作用是显式暴露人声与混合体相对伴奏的关系。
监督数据全靠构造。课程有 11 个问题标签加 clean(前 10 个组成 5 对正反,masking 没有文本反义标签,所以不硬凑第 12 类),18 条启发式 recipe,每条按 mild/medium/severe 三级注入,非电平类 recipe 注入后对受影响源做响度归一以免与整体电平混淆,再用 recipe 特定的声学阈值与安全检查筛掉不合格 state。caption 由模板生成「The [subject] [is/sounds] [optional degree] [quality] [optional scope]」。实体层级要分清:clip 是 10 秒的人声加伴奏片段,state 是某个处理后版本,caption 挂在 state 上。
训练时每个 batch 只放同一 clip 的不同 state,防止模型拿歌曲或歌手身份当捷径。severity group 是 clean 加一条 recipe 的全部可得严重度,comparison group 是 clean 加至多 7 条同名义严重度的不同 recipe。损失是 SigLIP 成对 sigmoid(同 recipe 同严重度的跨 clip 对也算正,比只认对角线的 InfoNCE 更密),加 0.3 的严重度排序、0.1 的问题选择性(要求被注入那个问题的分数涨幅压过其它 10 个问题)、0.1 的反义问题(要求本问题得分高于其反义问题),共训 60 epoch,AdamW、权重衰减 1e-2、融合层 3e-4、适配编码器 3e-5。
评测分两段。critic's exam 考三件事:同 clip 池里问题检索(R@1、MRR,双方向)、正反问题二选(两极都对才算对)、严重度排序(Spearman ρ、完整序列正确率、选择性)。menu selection 考下游决策:每条原始人声渲染 31 个候选(1 个不处理 + 18 个单控 + 12 个双控),用 issue evidence e_i(A)=s(A,q_i)−s(A,q_0) 聚合后选最低的一个,选完才揭晓专业版,再用 RMS 电平差加 62 Hz–16 kHz 八个倍频程带的平均对数能量差算距离。
规模:训练 78,740 条 state-caption,来自 236 首 MoisesDB 加 134 首 MUSDB18-HQ(共 370 首);评测 4,557 条合成样本,加 23 首 MedleyDB 上的 88 对原始/专业处理人声;44.1 kHz。基线是冻结 CLAP、Music Flamingo、Audio Flamingo Next、Qwen2.5-Omni,按 AQAScore 的做法问固定是非题、取 YES–NO logit 差当分数。58
关键结果:
  • critic's exam(表 1):adapted MixJudge 全项最高——问题检索 T→A 的 R@1/MRR 为 0.164/0.321、A→T 为 0.117/0.297,正反判别 0.839,严重度 Spearman 0.971,完整序列正确率 0.922,选择性 0.838;只训融合层时为 0.112/0.274、0.097/0.254、0.727、0.768、0.713、0.793。
  • 与随机和基线对比(表 1):随机在正反判别是 0.250、完整序列 0.048、选择性 0.091;四个生成式基线的正反判别只有 0.243–0.374(即贴着或低于随机),严重度相关 0.175–0.331,冻结 CLAP 也只在 0.266 与 0.331。
  • menu selection(表 1):adapted 的 closer rate 0.727(mean)/0.716(max)、整菜单 Spearman 0.730/0.721、中位恢复 0.665/0.684;冻结 CLAP 对应为 0.330/0.284、0.146/0.147,中位恢复是负的 −0.552/−0.636(即比不处理还远)。
  • 88 个菜单里 83 个存在「比不处理更接近专业版」的候选;在这 83 个上 mean/max 策略分别有 77.1%/75.9% 选中改善候选,所选候选散布在 31 个中的 22 个,说明不是某一条处理的固定捷径。
  • 目标消融(表 2):InfoNCE 换 SigLIP 后正反判别 0.812→0.725、选择性 0.495→0.356,但菜单相关 0.501→0.728;加排序损失把严重度相关拉到 0.916 而选择性仍只有 0.384;再加选择性与反义损失后严重度 0.971、选择性 0.838、菜单相关回到 0.730。
  • 生成式基线一致出现「文本→音频检索强于音频→文本」(如 Qwen2.5-Omni 0.142 对 0.057),作者把它归到已知的文本偏置现象,但明确说本实验没有隔离原因。58
站内摘要出入:摘要写「针对音频语言模型缺乏单独判断混音问题能力的问题」,这恰是原文明确回避的结论——原文写「这不证明被检验的大模型缺乏混音知识,只是它们在这个接口下的分数无法可靠解出单项评判任务」。另外摘要的「11 个混音问题」在原文是 11 个问题标签加 clean 共 12 种状态,clean 不是一种问题。
证据与局限:原文自陈:未单列 Limitations,但两处硬边界写得很清楚——recipe 的验收规则是「implementation-level filtering rather than perceptual validation」,也就是全程没有人耳验证;基线分数低「不证明这些大模型缺乏混音知识,只是在这个接口下不可靠」。我判断:critic's exam 的真值全部来自自己注入的退化,0.839 的正反判别衡量的是「能否复现自己造的对比」,与「能否听出真实混音问题」不是同一件事,而这一点没有任何人类听测来兜底。menu selection 部分的真值也只有一版专业混音,而距离 D 是 RMS 电平加八个频带的能量差,纯信号量、不含感知加权,所以 0.727 的 closer rate 有一部分必然来自「更接近某个工程师的电平与音色偏好」。还有一处输入不对等:MixJudge 拿到人声、伴奏、混合三路,基线只拿到混合,表 1 的检索与判别差距里有一部分来自信息量而非建模能力。样本侧,88 对、23 首歌支撑整个 menu 结论,mean 与 max 两个策略的差别没有给区间。58
复现:原文脚注称「Code, recipes, and caption-generation details will be made publicly available」,但未给 URL,按原文未提供可用仓库链接处理。配置:CLAP 双编码器,60 epoch,AdamW(权重衰减 1e-2),融合层学习率 3e-4、适配编码器 3e-5,10 秒 clip、44.1 kHz;损失权重 1 : 0.3 : 0.1 : 0.1,margin 0.05 与 0.10 为启发式设定。
与目标研究线的关系:属 C(TTS 生成与评估)。这套「critic's exam + menu selection」的两段式可直接当评判器验收模板:先用能否检索、能否分清正反、能否排出严重度三件事把能力拆开,再拿一个下游决策(31 个候选里选一个)检验分数有没有用,并把随机基线按池大小算出来。它和同批的 MQAScore(2610.31083)思路同源——都主张把整体相似度拆成可查询的原子判断——但真值来源相反:这里靠 recipe 注入、规模到 78,740 条、无人耳验证;那边只有 266 个真人专家对,但有人类一致性可校准。和 2610.31470 的方向也相反:后者怀疑评测器本身在制造误差,前者默认自己造的真值可信。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
一个训练 batch 的构造方式,上下两层。上层 4 个 severity group(×4),每组是同一 clip 的一条 recipe 的四个状态:一个空心圆代表 clean,加三个由浅到深的同形状标记代表 mild→severe。下层 8 个 comparison group(×8),每组是一个空心圆加至多 7 个同名义严重度、不同形状的 state,形状不同即问题不同。底部图例把编码方式说全:颜色代表 clip(同色即同一首歌,防止身份捷径)、空心圆代表 clean state、形状代表问题类型、灰阶由浅到深代表 mild→severe(arXiv:2610.30783)。

59. 文本-音乐对齐拆成 5 维原子概念,人声维度 AUC 0.966 · arXiv:2610.31083 · 精读

MQAScore: Fine-Grained Text-Music Alignment Evaluation via Large Audio Language Model · arXiv:2610.31083 · 精读
作者与机构:第一作者 Wei-Jaw Lee,其后 Chun-Ping Wang、Xuanjun Chen、Yi-Hsuan Yang。三个署名单位是 GICE, National Taiwan University;AI-CoRE, National Taiwan University;Taiwan AILabs(brief 的站内机构列了后两个、漏了 GICE 这个系所,不算冲突);HTML 未保留逐人上标。
研究问题与核心方法:
要问的是:一段音乐和一条多属性 caption 的对齐程度,能不能不压成一个相似度数字,而是逐条说清「曲风对不对、乐器对不对、情绪对不对、有没有人声、适用场景对不对」?
分类体系沿用 CAL500 的五维:Genre、Instrument、Mood/Theme、Vocal、Usage,按 MTG-Jamendo 的做法把 affective 与 evocative 合成 mood/theme,因为听众标签很少区分「听起来什么感觉」与「让人想起什么」。明确排除两类:acoustic qualities(那是音质不是语义对齐)与和声、节奏这类音乐学概念(现有 LALM 检不出来)。
打分机制借 AQAScore,但把整句换成单个概念:LLM(Qwen3-4B-Instruct-2507)从每条 MusicCaps caption 抽出原子概念、归到五维之一、丢掉主观修饰(「groovy bass」只留「bass」);每个概念按维度模板生成是非题(如「Does this music belong to the genre {t}? Answer Yes or No.」),MQAScore 就是 S(a,t)=p(Yes)/(p(Yes)+p(No)),取单次前向的 next-token 概率、不采样。维度分是该维所有概念的均值,某维没有概念就记 unavailable,不记 0。
验证标签的构造是关键。genre 与 instrument 有数据集的存在/缺席标注,直接拿真实概念 t 与缺席概念 t⁻ 组成三元组 (a,t,t⁻);mood/theme、vocal、usage 没有缺席标注且概念不互斥,于是用 LLM 在词表里选语义最远的概念当 t⁻、最近的概念当 t⁺,组成四元组 (a,t,t⁺,t⁻)。t⁺ 与 t⁻ 经历同样的文本替换,所以只有「对 t⁻ 的反应明显强于对 t⁺ 的反应」才说明分数跟着音频走,而不是跟着措辞走。
指标有四个:AUC 用跨 clip 合并的 unpaired ROC(tie 记 0.5,因此跨 clip 的分数漂移也被惩罚)、WR 是 clip 内「在场概念得分高于缺席概念」的比例、R_S/I = z-MAD⁻ / z-MAD⁺(在 z 归一化后比较反义替换与近义替换引起的变化幅度,≫1 才算跟音频走,≈1 说明分不清反义与近义)、以及与专家标签的一致率。
数据规模:GTZAN 1,000 条 30 秒、10 类,每条与其 9 个缺席曲风组成 9 个三元组;OpenMIC-2018 20,000 条 10 秒、20 种乐器(relevance>0.5 记为在场),得 15,241 个三元组、覆盖 7,037 条 clip;MusicCaps 上抽出 mood/theme 3,967、vocal 737、usage 112 个四元组。专家侧由 11 名受过音乐训练的标注者按书面指南标注,曲风/乐器型 147 对、概念型 119 对,只保留无歧义标签,标注者间 Krippendorff's α=0.71。59
关键结果:
  • 概念级对整句级(表 1,同为 Qwen3-Omni):mood/theme 的 AUC 从 0.776 升到 0.943、vocal 从 0.870 到 0.966、usage 从 0.718 到 0.842;但整句级的 R_S/I 反而更高(mood 31.3 对 7.38),原文解释是整句里换一个概念本来就挪不动分数,把比值抬高了。
  • LALM 三个模型在概念级的具体数:Qwen3-Omni 曲风 AUC 0.983 / WR 0.978、乐器 0.915 / 0.887、人声 0.966 / R_S/I 21.90;AF-Next 0.980 / 0.972、0.893 / 0.849、人声 0.881 / 7.03;Music Flamingo 0.982 / 0.977、0.855 / 0.797、0.886 / 3.28。
  • 相似度基线在抽象维度上失效:CLAP 的 mood AUC 0.669、R_S/I 1.91;MuQ-MuLan 的 mood 0.663 / 1.73,人声 0.511 / 0.48——对近义替换的反应比反义替换还大,说明分数在跟措辞。
  • 与专家一致率(表 2,依次为曲风/乐器/情绪/人声/用途):人-人 92.5 / 82.3 / 84.6 / 95.2 / 82.5;Qwen3-Omni 85.0 / 79.7 / 86.4 / 92.5 / 85.4;AF-Next 86.7 / 72.9 / 88.6 / 92.5 / 78.0;Music Flamingo 75.0 / 89.8 / 88.6 / 85.0 / 68.3;CLAP 71.7 / 74.6 / 54.5 / 80.0 / 63.4;MuQ-MuLan 71.7 / 62.7 / 43.2 / 60.0 / 61.0。
  • usage 是全场最难维度:所有评估器的 AUC 与人声、情绪相比都最低(最好的 Qwen3-Omni 也只 0.842),作者归因于「场景用途是从音频里推出来的,不是直接听到的」。
  • 曲风与乐器上相似度基线仍然可用(CLAP 0.912 / 0.867),论文解释是这两类闭合词表被对比预训练覆盖得比较好——所以「LALM 全面更好」不成立,「在抽象概念上更好」才成立。59
证据与局限:原文自陈(结论段):局限包括用 LLM 做概念抽取与负例选择、GTZAN 的单标签假设、只覆盖 clip 级描述性概念、专家集太小。我判断:266 对专家标签摊到五个维度后每格只有几十对,一个样本就能挪动两三个百分点,而人-人一致率本身在乐器上只有 82.3%,所以「LALM 接近人类」这句话在上限附近其实没有分辨率。R_S/I 的两个替换词都由 LLM 选,如果所选近义概念不够近,分母偏小、比值被系统性抬高,论文没有对这个选择做扰动或替换多个 LLM 的鲁棒性检查。AUC 是跨 clip 合并的非配对计算,GTZAN 又是 10 类单标签,0.983 很大程度上测的是「能不能听出曲风」这件相对容易的事,与「细粒度对齐」不是同一难度。59
复现:项目页给出逐维评测结果、音频片段、抽取出的概念与逐概念分数:[https://lonian6.[github.io/MQAScore.github.io/](https://lonian6.github.io/MQAScore.github.io/)](https://github.io/MQAScore.github.io/](https://lonian6.github.io/MQAScore.github.io/));代码仓库原文未给。配置:LAION-CLAP(music_audioset_epoch_15_esc_90.14.pt)、MuQ-MuLan(OpenMuQ/MuQ-MuLan-large)、Qwen3-Omni-30B-A3B-Instruct、Audio Flamingo Next、Music Flamingo;概念抽取与近义/反义替换统一用 Qwen3-4B-Instruct-2507;分数取单次前向的 Yes/No next-token 概率,不采样;AUC 为跨 clip 合并的 Mann-Whitney,tie 记 0.5。
与目标研究线的关系:属 C(TTS 生成与评估)。最可搬的是验证集构造法:有标注的维度用「在场/缺席」造负例,没标注的维度用「LLM 选最远 + 最近替代」造四元组,再用 R_S/I 把「分数跟着音频走」和「分数跟着措辞走」分开——这套检验对任何 LLM-as-judge 的音质或对齐指标都适用,成本只有几百对标注。与 2610.30783 相比,两者都把整体分拆成可查询的原子判断,差别在真值与规模:这里 266 个真人专家对、可校准但分辨率低,那边 78,740 条注入样本、规模大两个数量级却无人耳验证。与 2610.31470 相比,两者都在问「这个分可信吗」,但这里问评判器能否分辨语义,那里问验证器会不会把人声听错——前者是天花板,后者是地板。搬用时注意 usage 维度目前最不可靠,做产品分时不应与曲风、乐器同权。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
一张对照示意,左边同一段音乐与同一条 caption 分成上下两支。上支进标着 Similarity-based (CLAP or MuQ) 的框,箭头只吐出一个数字,代表全局相似度把所有属性压成一维。下支进标着 MQAScore 的框,箭头吐出的是一张五角雷达图,五个顶点分别是 Genre、Usage、Mood/Theme、Instrument、Vocal,图中叠了两层多边形(浅绿与深绿),右上角标出 0.35 作为该维刻度的示例值。整图只用来说明「一个分数」与「一组按维分」的信息量差别,不含实验结果(arXiv:2610.31083)。

60. 识别器对真人极罕见词漏识 32.9%,三识别器裁定后 TTS 错误降为 1/2.8 · arXiv:2610.31470 · 精读

Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error? · arXiv:2610.31470 · 精读
作者与机构:第一作者 Kirill Borodin(BitmanagerAI, Dubai, UAE;通讯邮箱 kborodin.research@gmail.com),其后 Vasilii Kudryavtsev、Nikita Vasiliev、Grach Mkrtchian;两个署名单位是 BitmanagerAI 与 lab260(Yerevan, Armenia)。
研究问题与核心方法:
要问的是:TTS 报告里那些「罕见词读错」的错误率,有多少其实是打分用的那个识别器自己听错——也就是验证器的地板在哪里?
做法是把同一批识别器同时放在真人录音和合成语音上跑。数据集本身带原始真人录音,于是同一个词有两类证据:识别器在真人录音里听没听到(h),在所有 N 个合成版里听没听到(s)。三个识别器家族是 A:Whisper large-v3-turbo、B:wav2vec 2.0 large(CTC、无语言模型)、C:OWSM v3.1,C 是被检验的验证器,A 与 B 只用来查 C;三家都贪心解码。
判定单位是词,不是句、也不是 WER:词被「听到」指完全匹配,或最多三个词只在空格上不同(any thing 与 anything);插入一律忽略,所以报的是词漏识率。由此得到三个估计——标准 round-trip 是「C 在所有 N 个合成版里都没听到」;单识别器掩码是「只统计 C 在真人录音里听到的词」,也就是把 C 在真声上漏掉的词直接扔掉;三识别器裁定是「任一识别器在真人录音里听到,且三家在任一合成版里都没听到」。
词频用 wordfreq 的 Zipf 刻度分层(z=3 约等于百万分之一),very rare 是 z<2.5、common 是 z≥4.5,带数字的 token 不归任何一层。LibriSpeech 另有一个语料内测度(在约 1.1 万条转写里出现不超过 2 次)用作散点图横轴,它与句内 z<3 词占比的相关是 r=0.60。
数据是 500 条 LibriSpeech test/dev 句(15–30 词,均值 20.8 词,稀词占比 0–41%),四档词数 380 + 783 + 1,319 + 7,930 = 10,412,与 500 × 20.8 ≈ 10,400 对得上;另有 FLEURS en_us 前 200 条录音(12–30 词、3–16 秒),覆盖 161 句(其中 39 句录了两遍),四档词数 60 + 185 + 619 + 3,096 = 3,960。F5-TTS 生成 N=8 个随机种子版本(FLEURS 上 N=4)、克隆 5 位 test-clean 说话人;Kokoro-82M 是确定性的,N=4 用四个不同声音,两者 N 与变化方式不同,因此不互相比较。
实体层级必须分清:词是判定单位,每个词上有多份证据——3 个识别器 × N 个合成版 = 3N 份转写(LibriSpeech 是 24 份,FLEURS 是 12 份),裁定要求这 3N 份全部落空;句只是重采样单位(4,000 次 percentile bootstrap),不是计分单位。60
关键结果:
  • 验证器在真人语音上就已经漏词(表 2):C 在 LibriSpeech 上漏 1.5% 的常见词、32.9% 的极罕见词;FLEURS 上是 3.2% 与 66.7%;A 与 B 在 LibriSpeech 极罕见词上也分别漏 31.8% 与 30.3%。
  • C 漏掉的词里 54%(FLEURS 55%)能被 A 或 B 从同一段真人录音里转出来,指向 C 而不是音频;三家都漏的极罕见词占 21.6%(LibriSpeech)与 41.7%(FLEURS),这些词根本无法判定。
  • 三个估计(表 3,any-of-N):F5-TTS 从标准 0.63% 降到掩码 0.30%、裁定 0.22%;Kokoro 0.72→0.36→0.22;FLEURS 的 F5 1.52→0.66→0.46。标准对裁定的比值是 2.8 [2.1,4.1]、3.2 [2.4,4.8]、3.3 [2.3,5.6]。
  • 单候选与最好候选上比值变小但仍大于 1:N=1 时标准为 1.51 / 2.26 / 2.56、裁定为 0.63 / 0.43 / 1.11;best-of-N 保留的那一条上比值 1.9 [1.5,2.4]、2.5 [2.0,3.4]、2.1 [1.6,3.2]。
  • 极罕见词仍然最难(表 2):裁定后 F5 为 3.4% [1.4,5.4](10/298)、Kokoro 为 4.7% [2.5,7.2](14/298),而常见词是 0/7,889 与 3/7,889。
  • 单识别器掩码有偏(表 4):在 C 于真人录音里漏掉的词上,A/B 找到 TTS 错误的比例是 3.9%(F5)、4.9%(Kokoro)、6.0%(FLEURS),而 C 听到的词上只有 0.2%/0.2%/0.3%;掩码保留下来的错误里,A 或 B 又在某个合成版里听到的比例是 53%/64%/56%(16/30、23/36),也就是裁定推翻了约一半。
  • 剩余错误成分(§5.3):裁定后共 23、23、18 个错误,其中 15、8、12 个的转写指向不同发音(真错),8、15、6 个是拼写变体、同音词或文本伪影;只数前一组,极罕见词错误为 1.7%/1.7%/5.7%,整体为 0.15%/0.08%/0.30%。60
证据与局限:原文自陈(§7):没有听测——所有 TTS 错误判定都来自识别器,而识别器共享盲点,听测样本(这 23+23+18 个错误、被移除错误的一个样本、以及控制词)已备好但未跑;错误数很少,极罕见词的估计与趋势区间很宽;范围只覆盖英语朗读语音两个语料,B 与 C 都在 LibriSpeech 上训练,且 C 同时是验证器又是裁判之一。我判断:最硬的一处是 32.9% 这个数——它直接度量「人类说的词,验证器也听不出来」,与 TTS 好坏无关,可复用性最强。「裁定把错误压低 2–3 倍」里则混着机械成分:裁定要求 3N 份转写全部落空,N 越大越容易落空,作者自己在 §5.2 承认了这一点,并用 N=1 与 best-of-N 两条子结果做缓解,这两条(0.63 对 1.51、0.43 对 2.26)才是判断效应真伪的地方。趋势分析是在看到前 300 句结果后补 200 句做的,作者自标为探索性,引用时只应引方向、不应引系数。按发音错误重算后 1.7% 与 5.7% 差了三倍多,而分母分别只有 10 和 14 个错误,无法判断是系统差异还是小样本噪声。60
复现:原文承诺「We will release code, sentence lists and all transcripts.」,但未给 URL,按原文未提供可用链接处理。配置:A=Whisper large-v3-turbo、B=wav2vec 2.0 large(CTC、无 LM)、C=OWSM v3.1,全部贪心解码;F5-TTS N=8(FLEURS N=4,5 位 test-clean 说话人克隆)、Kokoro-82M N=4(四个声音);文本用 Whisper 英文归一化器后对齐;wordfreq 3.1.1;句级 bootstrap 4,000 次,零错误格用 Clopper–Pearson 上界。
与目标研究线的关系:属 C(TTS 生成与评估)。它给的是口径不是模型:任何用 ASR 算 WER/CER 的 TTS 报告,都该同时报识别器在真人录音上的词漏识率(按词频分档)、报 N=1 与 any-of-N 两个数,并且不要用「忽略识别器在真声上漏掉的词」来纠偏——那个掩码扔掉的正是 TTS 最容易错的词(3.9%–6.0% 对 0.2%–0.3%),而且会留下约一半假错。三篇评测论文的口径差别可以这样摆:这里以真人录音为不可超越的参照、测评测器的下限,误差归属指向验证器;2610.30783 的 MixJudge 与 2610.31083 的 MQAScore 都假定真值(recipe 注入的退化、标签与 LLM 替换)可信,测的是评判器的上限与选择性。三者可以叠成一条流水线——先用本文方法量清自家 ASR 裁判的地板,再用分项考试与 R_S/I 检查裁判是否只在复述措辞。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
两个并排面板,左 F5-TTS、右 Kokoro-82M。纵轴是「TTS 词错误率(%)」,刻度只标 0 与 1,最高到约 1.5;横轴是「句子的稀词占比(%)」,0 到 25。每个面板三条折线,每条四个点(对应按四分位数分的四箱,点是箱均值,竖线是 95% 置信区间):红色方点虚线是标准 round-trip,灰色三角点虚线是单识别器掩码,蓝色圆点实线是三识别器裁定。红线右端最高(约 0.25 的稀词占比处升到近 1%),蓝线全程最低(约 0.1–0.3%),灰线居中且走势最平——说明掩码压掉的是一个大致恒定的份额,而标准 round-trip 的误差随稀词占比上升最快(arXiv:2610.31470)。

十、智能体接口、协议与执行环境

这一节收的是外围但可迁移的观察,档位多为值得扫读,其中两篇够精读。
最有信息量的是执行回环那一篇:只改推理时的 harness,9 个基准 macro 从 46.47% 到 65.21%,换骨干仍有效——这是本期「harness 值多少」的天花板一侧。
多主体事件世界那篇给的是下限一侧:给全他人行动 65.1% EM,只给自身行动跌到 20.8%,随机初始化同架构只有 32.0%。
另外三篇各自是一个可搬的口径:握手开销的相位分解(3 次往返 230 ms)、推测解码接受率不随位置衰减(后半段反而高 0.03),以及用反事实判断驾驶 VLA 的推理是不是只是伴随文本。

61. 智能体握手实测:3 次往返 230 ms,能力元数据每项 24–107 token · arXiv:2610.30151 · 值得扫读

The Cost of Saying Hello: An Empirical Study of Handshake Overhead in AI Agent Communication Protocols · arXiv:2610.30151 · 值得扫读
作者与机构:Pranav Varshney(University of Michigan,原文首页只列这一个机构,邮箱 pvarsh@umich.edu);单作者,无共同一作或通讯作者。
研究问题与核心方法:
要问的是:智能体从第一次接触,到"可以发第一条正经任务消息"(原文称 task-ready),到底要付多少通信成本,钱花在往返、字节,还是模型读元数据的 token 上?
作者把握手拆成四个相位:discovery(找到对端并取回它的自描述元数据)、capability exchange(弄清它能做什么)、auth/session(建立身份与会话)、readiness(第一条任务消息合法前的残余信令),再用一个固定的 echo 能力把 task-ready 定义成"已从协议元数据确认对端提供 echo"。
被测对象是三个协议的四个变体:MCP 的 legacy 代(规范 2024-11 至 2025-11)与 modern 代(2026-07-28 引入 server/discover 单次探测)、A2A v1.0.0 的 JSON-RPC 绑定、已冻结的 ACP 1.0。客户端用各协议官方 Python SDK,对端用同一项目的官方 server SDK 搭最小服务(只有静态能力元数据 + echo),这样测到的是协议地板而不是实现差异。
所有请求在 httpx 的 recording transport 上打点,再经本地 TCP relay 计精确字节与连接数;网络条件用 relay 每方向延迟 25 ms 模拟对称 50 ms RTT,loopback 条件延迟为零。四个场景:S1 冷启、S2 热重连(各协议按自己规范与 SDK 允许的方式复用)、S3 能力不匹配(测 time-to-rejection)、S4 降级(2 s 慢响应、元数据截断 50%、伪造版本号)。
每格 N=50,报中位数与 p95,中位数带 2,000 次重采样的 bootstrap 95% CI;另做 0/25/50/100 ms 的 RTT 扫描,每点 N=20。61
关键结果:
  • S1 冷启在 50 ms RTT 下到 task-ready 的中位数:MCP legacy 230 ms(p95 236)、MCP modern 122 ms、A2A 61.0 ms、ACP 62.1 ms;对应应用层往返 3/2/1/1 次,legacy 是 A2A 的 3.8 倍(表 2、§5.1)。
  • 热重连把差距拉得更开:MCP legacy 仍付 230 ms(规范早于响应缓存,3 次往返一次不省),MCP modern 默认策略 1 次往返 63.5 ms,pin 到缓存协议代后 0 次往返 6.6 ms;A2A 2.0 ms、ACP 6.6 ms。同一对端交互 k=100 次时摊薄到 230 / 64.1 / 7.8 / 2.6 / 7.1 ms(表 2、图 4)。
  • 能力元数据的 token 成本随能力数线性上升,斜率分别是 A2A 24、MCP 78、ACP 107 token/能力(对 n=1…200 的边际拟合);200 个能力时 ACP 的握手元数据达 21,405 token,占 200k 窗口 10.7%(原文取整写成 11%),MCP 15,618 token 占 7.8%(表 5)。
  • 单能力对端整场握手只吃 112–242 token,按 Claude Sonnet 5 的 $3.00/百万输入 token 计约 $336–726/百万次握手;原文明确说这是截距、不是可引的成本(表 4、§5.5)。
  • 降级场景里版本校验分化最大:MCP 两代都在 3.7–4.2 ms 内拒绝只讲 2099-01-01 的对端,modern 的 -32022 错误还带回支持版本列表;A2A 拿到号称 99.0.0 的 Agent Card 后照常完成 echo(3.0 ms),因为它把版本协商放在每请求的 A2A-Version 头上;ACP 的 manifest 没有版本字段,这一项无法测(表 3)。
  • 单次握手失败(S3)的代价等于完整握手价:legacy 231 ms、modern 117 ms、A2A 62.2 ms、ACP 57.7 ms,因为"它不能做什么"和"它能做什么"在同一份元数据里(§5.3)。
  • RTT 扫描的拟合斜率是 A2A 1.1、ACP 1.1、MCP modern 2.1、MCP legacy 4.2 ms 握手每 ms RTT;legacy 超过 3 是因为两个 SSE 响应各跨两个分块,合计 8 个单向延迟(图 3)。61
证据与局限:原文自陈:对端只有一个能力,所以数字是协议地板;用户态 relay 只延迟应用层分块,TCP 建立仍在 loopback 完成,真实 50 ms 链路上每个连接还要再加 1 个 RTT(TLS 再加 1 个),而这恰好惩罚开连接多的协议(legacy 每次交换开一条,共 3 条);只测单一 SDK 版本、单机 loopback,跨格比较有约 5 ms 的系统漂移地板;token 按 o200k_base 分词与一家厂商标价计,是下界。§7 另说未测认证握手、未扫能力规模(token 只有地板没有曲线)、未测自然语言协商。我判断:格内精度确实高(中位数 CI 半宽 0.16 ms,最大 2.0 ms),但正因跨格有 5 ms 地板,A2A 61.0 与 ACP 62.1 之间那 1.1 ms 不能当协议效应读;可引的是往返数、3.8 倍、以及 MCP modern 相对 legacy 在 50 ms RTT 下把冷启省下 47%(230→122 ms)这类量级。token 斜率是把一条捕获条目复制 n 次造出的合成文档,方向可信、绝对值是外推。61
复现:https://github.com/pvarshh/handshake-benchmark (harness、最小对端、逐次运行 JSONL、生成所有图表与正文数字的脚本)。三条命令复现原始数据、一条重算全部数字,首条约 25 分钟;版本 Python 3.12.13、mcp 2.0.0、a2a-sdk 1.1.2、acp-sdk 1.0.3、httpx 0.28.1,实验在 2026-08-10 的单台 Apple silicon 上完成。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"上下文与执行成本"这一侧。连接点很具体:一条长程轨迹要跨多个工具服务器,每换一个对端就重付一遍握手,而这篇把成本拆成两项可预算的量——往返数(×RTT)与元数据 token(×能力数)。按它给的 ACP 斜率外推,挂 3 个各 200 能力的服务器就是 3×21,405≈64k token,占 200k 窗口约 32%(这是外推,不是原文结论),这类估算在给长程任务定"最多挂几个对端"时直接可用。迁移条件是"对端陌生且交互短";同一对端反复交互时必须换用热重连数字(A2A/ACP/pinned MCP 都归零),否则会把摊销后的成本高估一到两个数量级。B 线做 harness 演化时,"元数据可缓存 + TTL"这一条可以直接搬到技能库与工具注册表的设计上。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
图注:左右两个面板都是 S1 冷启的握手时延分解,左为 loopback、右为模拟 50 ms RTT;纵轴是到 task-ready 的毫秒数,但两轴刻度不同(左 0–8 ms,右 0–200 以上),不能横向比高低。每根柱按相位堆叠:绿 discovery、蓝 session、红橙 capability、黄 readiness、灰 client processing;柱顶标出中位数 6.1 / 4.4 / 2.8 / 2.8 ms 与 230 / 122 / 61 / 62 ms,须状线拉到总时延的 p95。左图几乎全是灰色(客户端处理),右图反转为"一个线上一相位一往返",legacy 那截黄色 readiness 加两段 SSE 分块正是它斜率 4.2 的来源(arXiv:2610.30151)。

62. MCP 对 CLI:14 维定性对比,渐进披露把 schema 压到 170 token · arXiv:2610.30157 · 邻近跟踪

MCP vs CLI for AI Agents: A Comparative Analysis of Tool Integration Strategies for Autonomous Systems · arXiv:2610.30157 · 邻近跟踪
作者与机构:Arun Malik(第一作者)与 Nitish Talasu、Bradley Klemick、Vineet Tushar Trivedi、Prachi Shah、Sanay Devi、Junjie Zhang、Kunal Sonawane 共 8 人;原文首页未列任何机构,也没有通讯作者标注。
研究问题与核心方法:
要问的是:MCP 作为智能体与外部系统之间的接入层是不是必要的抽象,还是 CLI 够用、MCP 只是多一层复杂度?
方法是对比分析而不是实验。作者列 14 个维度(安装成本、上下文窗口成本、模型熟悉度、输出解析、错误处理、RBAC、审计、爆炸半径、合规、多租户、工具发现、可组合性、速度、生态广度)逐条判胜负,配三个难度递增的 worked example(读文件、生产库查询、50 人企业),再加一张 8 条安全要求 × 6 个合规框架的对照表。
成本部分用二手材料建模:naive 加载把整个服务器的工具清单塞进上下文,渐进披露只暴露两个 meta-tool(get_tool、invoke_tool);安全部分引 NSA 2026 年 5 月的 CSI U/OO/6030316-26、OWASP cheat sheet、CoSAI 与 CSA 的资料;经济性引 Gartner(2026 年 40% 企业应用带任务型 agent,2025 年低于 5%)与 BCG(集成成本降约 70%)。
评测口径是"谁在这个维度更好",没有基准分数、没有自测的延迟或 token、也没有样本量。62
关键结果:
  • 结论给出的胜负是 3:9:2——CLI 胜 3/14(安装成本、模型熟悉度、简单任务速度),MCP 胜 9/14,上下文窗口成本与生态广度打平(§IV 表、§XII)。
  • 上下文成本:静态全量加载 2,000–55,000 token(GitHub 服务器 80 个工具、每个约 700 token 即约 55,000),换成两个 meta-tool 后前置成本约 170 token(get_tool 约 80 + invoke_tool 约 90)(§IX-A、§IX-B)。
  • 算例:80 工具用 2 个,55,000 → 170+1,400=1,570 token(省 97%);150 工具用 5 个,105,000 → 3,670(省 96%);500+ 工具用 8 个,350,000+ → 5,770(省 98.4%)(§IX-E)。
  • 速度:MCP 的 JSON-RPC 开销 50 ms(stdio 本地服务器)到 200 ms(HTTP 远端);首页摘要表却写 CLI 有 2–5 倍延迟优势,正文没有给这个倍数的来源(§IV 维度 13 vs 摘要表)。
  • 安全对照:声称 MCP 满足 8/8 条要求、6/6 个合规框架,CLI 是 0/8 与 0/6(图 3);但同一节的文字表里 CLI 在 ISO 27001 写的是"可达但昂贵"、GDPR"部分可达",与 0/6 对不上(§VI-A、§VI-B)。
  • 规模与生态:MCP 连接器 5,800+(2026 年中);IBM 2024 的平均泄露成本 $4.88M 被用来给安全债定价(§VIII-B、§X)。
  • 建议是混合架构:CLI 用于信任边界内的本地开发,MCP 用于跨信任边界、碰生产数据、需要治理的场景(§XI)。62
证据与局限:原文没有局限章节,也没有自陈的测量边界。我判断:这不是实证论文,而是一篇带引用的立场综述——所有数字都是二手(厂商博客、Gartner、BCG、IBM),关键的 55,000→170 与 85–160× 压缩率来自 Solo.io、Speakeasy、Kruczek、Glama 等公司的博客,本文一个都没有复现;内部还自相矛盾三处(维度数在 §III-C 是 6、§IV 是 14、图 1 图注是 10;CLI 的合规战绩 0/6 与文字表的"部分可达"冲突;2–5 倍延迟优势在正文无出处)。可搬的是它整理的合规映射骨架与"渐进披露 = 两个 meta-tool"这个结构描述,不能把它当成 MCP token 效率的测量证据。62
复现:原文未提供代码或数据链接,也没有可复现的实验。
与目标研究线的关系:属 A(长程任务的训练与评估)的上下文预算侧,同时与 B(harness 演化)相邻。连接点是那个 170 token 的地板:长程任务里工具清单会随步数反复进上下文,渐进披露把"每步重付 N 个 schema"换成"用一次付一个 schema",机制与 B 线的技能库按需检索同构。迁移条件有两个:工具目录必须可检索(语义搜索或名字查找),否则 agent 要多花若干轮 get_tool 才定位得到;工具数要够多——8 个工具时省 71%,工具越少固定地板吃掉的比例越高。反过来说,这篇唯一可直接引的机制结论(前置成本从 O(工具数) 降到 O(1))不依赖它的数字也成立,要引数字必须回到 Solo.io 等原始博客。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
图注:一张十轴雷达图,两条折线分别是 CLI(红)与 MCP(绿),同心圆刻度为 0–10(标注 2、4、6、8、10),越靠外表示该维度越好。轴按顺时针依次是 Output parsing、Model familiarity、Speed、Setup ease、Cost effic.、Composability、Scalability、Auditability、Compliance、Security。CLI 的外凸区集中在右侧的 Speed、Setup ease、Cost effic.,MCP 的外凸区是左下到左上的 Auditability、Compliance、Scalability 与上方的 Output parsing;图中只有 10 个轴,而正文说评了 14 个维度(arXiv:2610.30157)。

63. 多主体事件世界:给全他人行动 EM 65.1%,只给自身行动跌到 20.8% · arXiv:2610.30488 · 精读

From Single-Actor Environments to Multi-Actor Event Worlds: Can LLMs Be Event World Models? · arXiv:2610.30488 · 精读
作者与机构:Juntong Ni、Zewen Liu、Bohan Wang、Lige Zhang、Wei Jin,均属 Emory University(原文首页只给一个机构与 {firstname,lastname}@emory.edu 的邮箱格式,未标共同一作或通讯作者)。
研究问题与核心方法:
要问的是:在多个行动者各自决策、智能体不动系统也会变、状态只能从事件日志里部分看到的环境里,LLM 能不能当"事件世界模型",也就是给定日志与智能体拟采取的行动,预测未来观测?
作者先做形式化:事件世界满足 |I|≥2,状态 S_t=(O_t, X_t),O 是最新观测、X 是隐藏部分(他人意图、未记录行动、订单簿);模型要估 P(O_{t+Δ} | H_t, A^i),而他人的 A^{-i} 未知。任务分两级:Task J 给全部行动者的行动,Task S 只给智能体自己的行动,两者之差就是"他人行动未知"的代价。
两个基准互补。Diplomacy 用 webDiplomacy 的 33,279 局无谈判对局,先用规则引擎回放校验,保留引擎能精确复现的 99.7%(33,194 局、118 万 transitions),其中 21,832 局七人局构成 94 万 transitions;训练与验证按对局哈希 95/5 划分、测试集前置 330 局缓冲,最终 19,721 局训练(84.9 万)、1,212 局验证、899 局测试(39,224)。Polymarket 取链上成交记录,保留成交满 30 天且成交 ≥5,000 笔的 4,176 个市场,按交易者合并成 7,900 万笔订单,24 小时窗口不越界到 2026 年后剩 137 万决策点中的 102 万;这 102 万点里训练 687,464 点、分布内测试 88k,剩下的约 24.5 万点原文未单列,按切分属 2025 年 10–12 月首次成交的 717 个验证市场(原文明确不用于任何报告结果),另有 890 个"后开市场"作跨期测试。
模型侧:GPT-6-Luna 与 GPT-6-Sol 零样本,Qwen3-1.7B 与 Qwen3-8B 做 SFT(每世界 2 万条,J/S 各半)。指标:Diplomacy 用整块棋盘全中的 EM 与单位级 F1,Polymarket 用价格方向三分类 Acc 与 CRPS;评估子集固定为 1,000(Diplomacy)与 1,333(Polymarket)条。63
关键结果:
  • Task J 单步:SFT 的 Qwen3-1.7B 在 Diplomacy 到 59.7% EM、Qwen3-8B 65.1%,零样本最好的 GPT-6-Sol 只有 40.5%;Polymarket Acc 66.1%/65.5%,用全部 68.7 万训练点的 LightGBM 是 68.8%(表 2)。
  • 同样是 2 万条样本、同一架构但随机初始化只能到 32.0% EM(对 59.7%),说明收益来自从日志学到世界动态,而不是学会输出格式(表 13)。
  • Task S 塌陷且分化:Qwen3-8B 从 65.1% 掉到 20.8% EM;高交互片段上没有任何模型胜过"照字面执行自己的订单、假设别人不动"这个基线(Qwen3-8B 的 EM_high 是 1.8%,该基线是 1.9%)(表 2、§6.2)。
  • 让它额外预测他人行动只把 20.8→22.9 EM(Diplomacy,Qwen3-8B)、59.9→60.4 Acc(Polymarket,Qwen3-1.7B);加历史长度 K 的提升也小,GPT-6-Luna 反而变差(图 5、表 17)。
  • 五步 rollout:Diplomacy 五步闭环后多数模型 EM≈0、只能看 F1——Task J 下 Qwen3-1.7B 保持 91.9,Task S 掉到 55.1;Polymarket 24 小时递归预测 60.2% Acc,直接预测是 64.4%(表 3)。
  • 替换智能体自己的订单后,给全他人行动 F1 77.3、只给自身行动 44.3,虚报变化率从 29.4% 升到 59.6%(Qwen3-8B,表 4)。
  • 策略学习上想象轨迹确实能用:1k 真实对局训练的行为克隆成功率 47.5%、1k 想象 43.0%、1k+1k 53.5%,但 2k 想象(47.5%)不如 2k 真实(54.0%);用 20k/320k 世界模型初始化能到 55.0%/59.5%,参照的 DipNet 行为策略是 61.0%(表 5)。63
证据与局限:原文自陈:只覆盖 Diplomacy 与 Polymarket,且模型吃的是从日志预处理过的观测;替代行动的效果校验与智能体实验只在 Diplomacy 做(有规则引擎),Polymarket 的干预分析是观测关联、不能确立因果;智能体实验的对手是固定的 DipNet 策略,结论未必外推到人类或会学习的对手。我判断:随机初始化对照(32.0 对 59.7)是这批里少见的干净设计,J/S 在同一决策点上配对也直接量化了"他人未知"的代价;但两个世界的度量口径差得很远——Polymarket 的 Acc 只是涨/平/跌三分类,且 LightGBM 用 68.7 万点、LLM 只用 2 万点,比较不对等,66.1 对 68.8 不能读成"LLM 接近梯度提升树"。表 5 的策略学习只在一个世界、一个策略族上做,43.0 与 47.5 之间没有置信区间,"1k 想象≈1k 真实"只是点估计。63
复现:github.com/LingFengGold/EventWorld (摘要脚注给的是不带协议头的裸域,原文如此);Polymarket 数据来自 huggingface.co/datasets/SII-WANGZJ/Polymarket_data 。切分与校验细节在附录 B。
与目标研究线的关系:属 B(轨迹学习与自进化)。连接点是它把"世界模型 → 想象轨迹 → 策略"这条链拆开量了:单步预测可以很准(J 65.1%),但五步 rollout 后 EM 归零,而误差来源被定位到"他人行动未知"这一项而非模型容量——更大的模型、更长的历史都没把 20.8% 救回来。对长程智能体的直接含义是:当一条轨迹的"环境"里还有别的智能体时,用世界模型做规划的前提是先有他人行动分布,而不是更准的单步动力学。迁移有两道条件:其他主体得有稳定的行为分布、且你能采到足量日志(这里是 94 万条 transitions 换来的);对手一换成人或会学习的策略,J 的优势消失,S 的 20.8% 就是上界。想把它搬到自进化线要注意,初始化收益(55.0%/59.5% 对 47.5%)来自世界模型规模 20k/320k,不是来自任何 RL 技巧。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
图注:四个台阶自左向右抬高,横写四种评测条件、纵轴隐含"对模型的要求逐级升高",没有数值刻度。Q1 标"Every action given",三个实心小人里橙色那个是被评估的 agent;Q2 标"Own action only",另外两个小人改成虚线轮廓、表示行动被隐藏;Q3 标"Beyond the log",台阶上是一条带箭头的推演链,末端画成虚线圆圈,代表从未采取的行动;Q4 标"Helps an agent act",一个同心圆靶心,圆心是橙色 agent。四格连起来就是正文的 Q1→Q4 层级(arXiv:2610.30488)。

64. 长 CoT 上独立草稿接受率不随位置衰减,后半段反而高 0.03 · arXiv:2610.30644 · 值得扫读

Speculative Acceptance Does Not Decay with Position: A Full-Length Diagnostic on Long Chain-of-Thought with Independent Drafts · arXiv:2610.30644 · 值得扫读
作者与机构:Zhiming Meng,单作者;原文只给邮箱 mengzmemail@163.com,未列机构。
研究问题与核心方法:
要问的是:推测解码的接受率是否随 CoT 变长而下降?更准确地说,把"草稿训练长度短于推理长度"这个混淆去掉之后,纯位置效应还在不在。
作者用一对没有长度失配的草稿—目标:target 是 DeepSeek-R1-Distill-Qwen-7B,草稿两个、都没在 target 输出上训练过——同族 R1-Distill-Qwen-1.5B 与跨族 Qwen2.5-1.5B-Instruct。γ=5,两种解码:greedy(argmax 前缀精确匹配)与 sampling(T=0.6、top-p=0.95,Leviathan 校验加残差重采样)。
数据是 MATH-500 全部 500 题、seed 42、每题 16,384 新 token 预算,四个配置分别跑 394,572 / 382,556 / 499,428 / 502,976 轮校验,合计 1,779,532≈1.78M 轮;每轮记位置、5 个草稿 token、6 个 target 预测与接受数,sampling 还记每个草稿位置的 p、q。
关键是把两个统计量分开:def2 是可见的 argmax 一致率,α=E[min(1,p/q)]=1−TV(p,q) 是真实期望接受概率(只有 sampling 能算,因为需要完整分布)。统计用题内配对——每题按位置中位数切两半、算后半减前半,配精确双侧符号检验与 10,000 次题级 bootstrap 95% CI;长度 ≥16,000 的 loop 题在配对检验前剔除(greedy 46 题 = 9.2%,sampling 16 题 = 3.2%,判定只看长度不看对错)。64
关键结果:
  • 剔除 loop 后四个配置都是后半段略高而非衰减:def1 的题内配对差 +0.031 [+0.026,+0.036](same/greedy,327 题升 126 题降,p=1.2e-21)、+0.028(same/sample)、+0.069 [+0.063,+0.076](xfam/greedy,393/61)、+0.059(xfam/sample);分布级的 α 也升 +0.010 与 +0.030,排除了"只是 target 分布变尖"这一解释(表 1)。
  • 支持区间内看不到下降趋势:greedy 0–8K 的 def2 在 0.91–0.94,sampling 0–12K 在 0.856–0.882(图 1b、1c)。
  • greedy 全长曲线上那段 0.78→0.95+ 的抬升主要是 loop 题造成的:46 题贡献了 12K 以上的大部分样本,其近 0.99 的接受率污染长位置统计;换估计量差别很大——round-weighted 半差 +0.064→+0.025,problem-weighted 只从 +0.040 到 +0.031(表 2、图 2)。
  • 拒绝集中在反思触发词:number/operator 在所有配置里 ≥0.93,反思桶 greedy def2 0.747、跨族压到 0.367;sampling 下 α 0.788→0.444、def2 0.625→0.369(图 3)。
  • 温度扫描把两件事分开:T 从 0.3 到 0.9,def2 从 0.917 掉到 0.836、反思 def2 从 0.707 掉到 0.520,但 α 只从 0.927 到 0.915、反思 α 反而从 0.785 升到 0.809,MAL 从 4.986 到 4.884(表 3)。
  • 三臂 LoRA(r=32,15,000 条轨迹过滤到 10,279 条、1.82M token 熵标注)没有一个臂能提高 MAL:相对 uniform 的最好差值 −0.0138 [−0.032,+0.005],全部差值 ≤0.02 token/轮(<0.4%);唯一名义显著的一格是 greedy 的 entropy−uniform=−0.0055(t=−4.14、dz=−0.19),方向还是更差(表 4)。
  • Oaxaca–Blinder 分解把 30–45% 的残余上升归给"后半段更偏数字与算子"的 token 构成变化(§6、附录 C)。64
证据与局限:原文自陈:长位置支持有限(去 loop 后 greedy 在 8K 只剩 15 题、9K 4 题,sampling 8K 33 题、12K 11 题),所以强结论只给到这些区间;温度扫描里的反思桶只有 1.6–2K token,那里 α 的上升是提示性的;单一 target 家族、单一 seed、固定 γ=5 限制外推;没训练长度外推型草稿,因此给的是独立草稿基线而不是对"训练—推理失配"解释的直接检验,用 EAGLE-3/PARD/DFlash 跑同一协议被列为最重要的后续;MATH-500 是单一领域。我判断:这是七篇里统计纪律最严的一篇——题内配对消掉了题目难度与轨迹长度的构成混淆,符号检验与 bootstrap 双报,还用两种加权把伪影和效应分开;三臂干预的负结论也站得住(500 题、SE 从 0.032 降到 0.013、配对 t 检验、accuracy 不变排除训练损伤)。但效应量很小(def1 只有 +0.03 量级),对 MAL 的实际意义远小于"不衰减"这个结论的修辞价值;而"不衰减"只对独立草稿成立,原文自己也说不构成对训练型草稿衰减的反驳。64
复现:原文未提供代码或数据链接。可核配置:γ=5、seed 42、每题 16,384 token 预算、T=0.6/top-p=0.95、LoRA 秩 32 训两轮、草稿词表 151,936 对 target 152,064 做零填充(151,658 个共享 token、0 个 id 冲突)、每轮接受期望的实测与理论差 4×10⁻⁴。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"长程执行成本与判据"这一侧。可搬的不是结论而是两个诊断习惯:一是把"可见一致率"与"真实期望接受概率"分开报,任何拿 argmax 一致率当代理的加速比评估都会在高熵决策点系统性低估;二是题内配对加双估计量,用来把"长尾异常样本"(这里是 9.2% 的 loop 题)与真实位置效应分开——长程智能体的逐步成功率曲线有同型陷阱,少数跑飞轨迹会把尾部统计整体拉高。迁移条件:只有草稿与 target 相互独立(无训练长度耦合)时"不衰减"才成立;换到 EAGLE 这类在 target 输出上训练的草稿,这条基线不能当预期,原文也把那个实验列为未做。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
图注:三个并列面板,纵轴都是每轮接受率 def1(0.7–1.0 或 0.45–0.7),横轴是生成位置(单位 k token,0–15 左右);蓝线是 greedy、紫线是 sampling(T=0.6),带阴影置信带。(a) Same-family, all:greedy 曲线从约 0.78 一路抬到 0.95 以上并在 12K 后饱和,sampling 在 0.78–0.82 徘徊;(b) Same-family, loops removed:抬升被削平,greedy 落在 0.88–0.94、sampling 落在 0.78–0.88,末端因样本稀少而噪点变大;(c) Cross-family, loops removed:整体水平降到 0.45–0.7,形状相同。三格连起来说明 (a) 里那段爬升主要是长尾 loop 题造成的(arXiv:2610.30644)。
站内摘要出入:站内摘要写“证实推测解码接受率不随思维链位置衰减……修正了行业默认的位置衰减观点”,原文把结论限定在独立草稿、greedy 0–8K 与 sampling 0–12K 的支持区间内,并明确声明自己不是对训练型草稿衰减的竞争性解释,只是补上该文献缺失的位置基线。

65. 分布社会世界模型:4B 模型在 5 个环境 15 项指标中 13 项最优 · arXiv:2610.30657 · 值得扫读

Anticipating Social Consequences with Distributional World Models · arXiv:2610.30657 · 值得扫读
作者与机构:Viet-Thanh Pham、Thuy-Trang Vu、Lizhen Qu(通讯作者)、Gholamreza Haffari 属 Monash University 的 Department of Data Science & AI;Zhuang Li 属 Royal Melbourne Institute of Technology。
研究问题与核心方法:
要问的是:社会交互里同一个行动往往有几种合理走向,能不能用"一次输出就带概率的多个未来"替代重复模拟,让行动者在选动作前看到替代响应及其后果?
做法是把决策点状态存下来,对同一候选行动执行 N=50 次、采样对方响应;先按代表动作(接受、还价……)分区,再在分区内做语义聚类,取最大的 K 个簇各留一条代表响应,其余进残差桶。簇概率就是频率 p_k=|C_k|/N,簇内结果值是均值 μ_k;于是聚类只改表示不改期望——式 1 的概率加权和还原样本均值。
训练分两段:先 SFT 把 (响应文本, 概率, 条件均值) 序列化成 JSON 让模型生成;再用 GRPO,奖励 R = g(0.35 R_dist + 0.20 R_cov + 0.10 R_prec + 0.30 R_score + 0.05 R_div),门控 g 对不可解析、漏测度、簇数错的输出置零。基座是 Qwen3-4B-Instruct-2507。
推理时行动者提最多 4 个候选,WM 每个候选出 4 个簇(终止型动作 1 个),按概率加权算即时与最终期望值,先按约束成本过滤、再按帕累托剔除,把两个最可能响应、残差质量与数值指引交回行动者。
数据是三个训练环境共 12,247 条查询行(Magentic-NL 6,041 + SOTOPIA 4,810 + AgentSense 1,396),验证 2,137、测试 2,731;训练 rollout 用 Ornith-1.5-9B / Qwen3.5-9B / Gemma 4 12B,评测换成完全不重叠的 Ministral 3 14B / MiniMax H3 / Claude Sonnet 5,5 seeds × 3 backbones。65
关键结果:
  • 见过的三个环境、7 项指标上 6 项最优:Magentic-NL 客户效用 272.82(采样未来基线 255.56)、SOTOPIA Goal 8.21、AgentSense 目标达成 0.72;唯一例外是 AgentSense 信息准确率 0.88,低于 S3AP 的 0.95(表 1)。
  • 两个未见环境、8 项指标上 7 项最优:ProMediate 调解智能 4.3321(S3AP 3.4387)、SOTOPIA-ToM 的 InfoMgmt 0.2508、DA 0.5398、EFF 0.9138;例外是 CPV 0.2450 高于纯 SFT 的 0.2281(CPV 越低越好)(表 2)。合计 6+7=13/15。
  • 消融证明"多个未来"本身有用:只留最可能的响应,Magentic-NL 客户效用从 272.82 掉到 243.85、SOTOPIA Goal 从 8.21 掉到 7.87;概率改成均匀则掉到 254.60(表 3)。
  • 概率质量带决策信息:把概率扰动到池化 JS 散度 0.28 时,性能降到原值的 77–90%(图 4a)。
  • 训练时见到的结果测度越多样,迁移越好:从 5 个测度增到 25 个,consensus change 0.0506→0.0628、InfoMgmt 0.1851→0.2508(图 4b)。
  • 预测精度:归一化 RMSE 0.127/0.116/0.135(三个环境),好于 single future 的 0.201/0.178/0.164 与 sampled futures 的 0.145/0.151/0.169(表 4)。
  • 成本:SOTOPIA 上比 30 次采样未来少 16.2 倍 token、4.8 倍延迟;但直接预测期望值仍然最便宜(表 14)。65
证据与局限:原文自陈:所有 agent 都是语言模型,向真人的迁移未测;每个行动 50 次采样使参考概率的粒度是 0.02,稀有响应会漏掉;簇内均值丢掉簇内方差,非线性效用只是近似;标签里带 judge 噪声;最终 horizon 的目标来自普通行动者策略而非模型引导的重复选择。我判断:5 seeds × 3 backbones × 5 个环境、且评测骨干与训练骨干完全不重叠,这个设计比多数同类工作干净;但"13/15 最优"的分母在各方法之间并不对齐——GDP-Zero 只在两人场景可用(表 1 的 AgentSense 一栏为空、表 2 全部不可用),所以它不是在同样的 15 项上被比下去的。真正的因果证据在表 3(只留最可能响应 → 客户效用少 28.97),不在排名。另外基座只有 4B、训练行 1.2 万条,规模偏小,跨环境泛化能否随规模保持,原文没测。65
复现:原文未提供代码或数据链接;伦理声明只说代码与数据的许可、归属与再分发条款会在"计划中的发布"里给出。可核配置:Qwen3-4B-Instruct-2507、N=50、推理每候选 4 簇、SFT→GRPO 两段、5 seeds × 3 backbones。
与目标研究线的关系:属 B(轨迹学习与自进化)。连接点是"用想象替代真实交互"的成本结构:它把 30 次真实 rollout 压成 1 次带分布的输出,省 16.2 倍 token,同时保住了"多种可能"这个信息——这正是轨迹学习里做 best-of-N 或树搜索时最贵的一步。可搬的是表示与奖励:把未来写成"簇 + 概率 + 条件均值"而不是单点,并在 GRPO 里用分布距离(1−TV)、覆盖、精度、值误差、多样性五项加权,这套奖励不依赖具体环境,换到工具调用或对话任务只需换结果测度。迁移条件:只有当对方响应分布稳定、且你能对同一状态重复采样 50 次时才成立——真实用户不可重放,那时 0.02 的概率粒度与"训练 rollout 用三个 9B–12B 模型"这两个前提一起失效。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
图注:上下两个横向长框。上半"1. Training":左侧一份 state+action 文档发散出若干采样响应,接着按 action A / action B 分组(每组里圆点表示即时与最终标注齐全),再进"Build future states"框——每个响应簇给出代表文本 r1/r2 与概率条(标注 25/50、15/50、10/50)、以及即时 μi 与最终 μf 两组结果值,另一端是 4B 世界模型,下方标 SFT → GRPO。下半"2. Inference":一个机器人行动者提出 a1–a4 四个候选,WM 一次给出各自的概率分布条与簇,经"Constraints Filtering"滑杆后保留 Values、2 replies、Utility,行动者从中选出 a3 并执行。虚线橙色箭头把训练好的 WM 接到推理侧(arXiv:2610.30657)。

66. 冻结模型加执行回环:9 个基准 macro 从 46.47% 到 65.21%,无需训练 · arXiv:2610.30917 · 精读

Harnessing Language Models as Optimization Modeling Agents · arXiv:2610.30917 · 精读
作者与机构:Yunxiang Luo、Xin Xu、Tianhao Chen 为共同一作,与 Zhixi Xiong、Peiqi Jiang、Fan Zhang、Can Yang(通讯作者,macyang@ust.hk)同属 The Hong Kong University of Science and Technology;Wei Shao、Xuejian Gao、Yuwei Fan 属 Huawei。
研究问题与核心方法:
要问的是:只改推理时的 harness(执行环境、状态、反馈、控制流),不动模型权重,能不能追上甚至超过专门适配的 agent 工作流与后训练过的优化模型?显式的建模状态又在什么时候有用?
三个接口构成对照组。Direct Generation 一次生成完整求解器程序、执行一次、不许改;OptiCycle 把"生成代码 → 在持久 Python 解释器里执行 → 读观测 → 修订"做成循环,解释器里的对象、变量、求解器实例跨轮保留,而喂给模型的上下文是"最近若干动作 + 执行反馈"的有界摘要;OptiState 在此之上先用一次调用写出五元 formulation(sets / parameters / variables / objective / constraints),存进 workspace、可读可改,提交时还要校验 formulation 可解析。
评测面:9 个基准共 2,634 题(ComplexOR、IndustryOR、OptiBench、MAMO easy/complex、NL4Opt、NLP4LP、OptMath、ICML Competition),11 个 Qwen 变体 0.6B–27B,指标是 avg@k(k 依基准为 64/16/4/8)与九基准等权 macro;每次调用最多 16,384 输出 token,缺失或不可解析的提交算失败。
对照分三层:同骨干下与 6 个适配的优化建模工作流比(CAFA、Reflexion、Chain-of-Experts、OptiMUS、AutoFormulation、ORMind,只在 Qwen3-4B 与 Qwen3.5-9B 上做);与 4 个后训练模型比(StepORLM、SIRL、ORLM、LLMOPT);再换非 Qwen 骨干验证(Phi-4-reasoning、Magistral-Small-2509、GPT-OSS-20B、DeepSeek-R1-Distill-Llama-8B)。66
关键结果:
  • macro 准确率的提升随规模极不均匀:Qwen3.5-9B 46.47 → 65.21(+18.74 pp,OptiCycle)→ 67.52(OptiState);最大一格是 Qwen3-14B 17.53 → 66.99(+49.46 pp);0.6B 与 3.5-0.8B 基本无效(0.06→0.01、0.00→2.48)(表 2、图 2)。
  • 同骨干对比 Qwen3-4B:OptiCycle 62.74、OptiState 64.22,最强基线是 CAFA 54.21,差 8.53 与 10.01 pp;Qwen3.5-9B:65.21 / 67.52 对最强基线 Reflexion 60.92,差 4.29 与 6.60 pp。注意"最强基线"在两个骨干上是两个不同方法(表 1)。
  • 成本方向是对的:Qwen3.5-9B 上 OptiCycle 每轨迹 11.77k 输入加输出 token,Reflexion 14.54k、OptiMUS 31.60k、AutoFormulation 34.38k——比 Reflexion 少 19.0% token 还高 4.29 pp;但 OptiState 只比 OptiCycle 高 2.31 pp,token 多 84.2%(§4.4、图 2)。
  • 显式 formulation 状态是选择性的、且非单调:Qwen3-1.7B +13.51、Qwen3.5-4B +19.63,而 Qwen3-8B −0.49、Qwen3-14B −0.61、Qwen3.5-2B −1.61、Qwen3.5-0.8B −1.77、Qwen3.6-27B −0.14(图 2)。
  • 换骨干同样有效:Phi-4-reasoning 44.42 → 69.28、Magistral-Small-2509 57.09 → 67.52、GPT-OSS-20B 39.25 → 67.38(OptiCycle),OptiState 只再加 1.25 / 0.16 / 1.39 pp;DeepSeek-R1-Distill-Llama-8B 三种接口都停在 2% 以下(图 5)。
  • 交互收益的分布有规律:Direct Generation 已经很高的任务(如 MAMO-easy)提升小;提不动的不是"准确率低"这一件事,而是超出模型能力的那一头(Qwen3-8B 在 MAMO-complex,原文称"持续的能力约束"),而 OptMath 这类最终准确率同样很低、但仍在模型能力范围里的任务反而提升明显——原文明说难度本身不决定增益(§5.1)。66
证据与局限:原文自陈:比的是完整工作流,各方法保留自己的推理预算(OptiState 比 OptiCycle 多一次 formulation 调用与一份可改表示);只报了 Qwen3.5-9B 的 token 消耗,缺匹配预算的消融、轨迹级修复分析与延迟;主体是 11 个 Qwen 变体,配置随代际不同;准确率是点估计、没有不确定区间;评测只看目标值或状态是否一致,未覆盖决策向量可行性、约束满足与 formulation 等价。我判断:这是本批里可搬性最高的一篇,因为唯一变量就是 harness;但也正因为"各方法各自预算",只有"更少 token 还更高"这种反向比较才硬——OptiCycle 对 Reflexion 正是这种(少 19.0% token、高 4.29 pp),而 OptiState 的 +2.31 pp 是纯拿 84.2% 的 token 换来的。没有置信区间意味着 8B 上的 −0.49 只能读作"不确定",不能读成有害;Qwen3-14B 的 direct 17.53% 明显离群(同族 8B 是 58.01、27B 是 65.12),原文未解释,这一格应视为该配置失败而不是能力曲线上的点。66
复现:原文未提供代码或数据链接。可核配置:9 基准 2,634 题、avg@k 的 k 依基准为 64/16/4/8、单次调用上限 16,384 token、OptiState 的 formulation 沿用 LLMOPT 的五元结构且提交时校验可解析性。
与目标研究线的关系:属 B(轨迹学习与自进化)。连接点最直接:它证明长程任务的收益可以完全来自 harness 层面的状态设计——持久执行状态(对象、workspace 文件)、有界历史摘要、显式可改的中间表示,这三件都是 B 线做自演化 harness 时可直接置换的部件;而且它给了置换的判据:把"每步重新生成"换成"在上一步状态上修",收益集中在"直接生成会错、但仍在模型能力内"的任务上,两头——太容易与太难——都没有收益。迁移条件是任务必须可执行、且执行反馈可靠,求解器的可行/不可行是硬信号,换成开放式写作就没有这个信号;另外显式中间状态不是免费午餐(+84.2% token,且对 8B/14B 是负的),只有在模型自身不擅长维持跨步一致性时才值得加。原文把"用历史执行轨迹去改 prompt、反馈处理、状态表示与修复预算"列为未来工作,那正是自演化 harness 的定义。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
图注:三个面板。左上"Executable interaction"是 OptiCycle 相对 Direct Generation 的 macro 增益(百分点,横轴 −10 到 60),11 个 Qwen 变体从上到下排:0.6B −0.05、1.7B +10.35、4B +12.48、8B +7.48、14B +49.46(最长一根)、3.5-0.8B +2.48、3.5-2B +10.98、3.5-4B +28.23、3.5-9B +18.74、3.5-27B +6.09、3.6-27B +6.01。左下"Formulation state"是 OptiState 相对 OptiCycle 的增量,横轴 −10 到 30,正值集中在 1.7B(+13.51)与 3.5-4B(+19.63),8B/14B/2B/0.8B/3.6-27B 为小幅负值。右侧是 Qwen3.5-9B 的 macro 准确率对每轨迹平均 token(千),OptiState 最高最贵、OptiCycle 在虚线交叉处、Direct Generation 最左下(arXiv:2610.30917)。

67. 反事实测驾驶 VLA:改写推理内容只挪 3.26% 轨迹,删掉文本挪 15.65% · arXiv:2610.30953 · 值得扫读

Measuring the Reasoning-Action Coupling in Driving Vision-Language-Action Models through Counterfactuals · arXiv:2610.30953 · 值得扫读
作者与机构:Gabriel Manalu、Saad Wazir、Thao Do、Seongah Kim、Hyeontaek Hwang、Tolcha Yalew Kidane、Daeyoung Kim,均属 School of Computing, KAIST(原文只标这一个机构,未标共同一作或通讯作者)。
研究问题与核心方法:
要问的是:驾驶 VLA 在动作前生成的那段推理,究竟是"解释",还是只是伴随文本?拆成两条可测要求:轨迹是否依赖推理的语义内容;视觉世界变了之后,推理与轨迹是否都跟着变。
四个被测模型覆盖了不同的推理—动作接口:AutoVLA 用 Qwen2.5-VL 加动作 token codebook,推理直接进自回归上下文;Alpamayo-R1 与 Alpamayo-1.5 共用 Cosmos-Reason 单句因果链加扩散动作专家,差别只在后训练(R1 仅 SFT,1.5 加了 RL);ORION 用多视角历史加 query 时序模块,生成式规划器条件在 planning token 而不是文本上。
推理侧五种文本干预:filler(等长无内容)、mistake(LLM 改写决策句)、negate(模板否定)、swap(移植别场景的决策句)、delete(清空)。每个内容改写都与同场景的语义保持改述(paraphrase)配对,报 Δ = d_T − d_paraphrase,这样"任何 token 改动都会动轨迹"的非语义敏感被减掉;改述与改写用 Llama-3.1-8B-Instruct,纵向四类、横向三类的决策分类用 Qwen3.5-9B-Instruct。
图像侧从模型自己的推理里抽关键物体短语,走开放词表检测 → 分割 → 视频掩码传播 → 人工校对,再用 ObjectClear(20 步、guidance 2.5;五名标注者按四个问题打分,均值 4.61/5,优于 RORem 3.65 与 DiffuEraser 3.40)把物体从多视角帧里移除;三个模型分别得到 1,332/157、1,403/164、511/104 个帧级掩码与关键物体实例。
数据是 DriveLM 验证集 799 场景(AutoVLA、ORION)与 PhysicalAI-AV 验证集 349 事件(两个 Alpamayo 加 AutoVLA);三个 seed(42/43/44)、逐场景配对;ADE/FDE 用在"同一模型干预前后两条轨迹"之间,量的是干预引起的位移,不是规划误差。67
关键结果:
  • AutoVLA 与 ORION 主要对"推理在不在、长什么样"敏感,对内容不敏感:delete 与 filler 两个模型平均下来,ADE 位移相当于各自「把相机输入置空」所引起 ADE 响应(相机侧 ADE)的 15.65%,而 swap/mistake/negate 平均只有 3.26%(§6.1;百分比的分母是各模型自身的相机置空响应)。
  • 逐格看更清楚:AutoVLA 在 DriveLM 上 delete +0.450 ADE/+0.977 FDE、filler +0.393/+0.841,swap 只有 +0.012、negate +0.016;ORION 的 mistake 甚至与 paraphrase 零线不可区分(表 3)。
  • Alpamayo 系列相反但幅度有限:Alpamayo-1.5 三个内容改写都在相机侧的 14.48–19.46%,其中 mistake 最大也只到 19.46%;Alpamayo-R1 只有 mistake 突出,swap 与 negate 都低于 3.20%(表 3、§6.1)。
  • 方向跟随率把两个家族分开:AutoVLA 在 DriveLM 的 202 个"承诺了左右"的场景里 187 个与解码轨迹方向一致(92.6%),声明左与声明右的中位横向端点差 7.06 m;PhysicalAI-AV 上 66/74(89.2%)。Alpamayo-1.5 只有 71/155(45.8%),中位差 0.01 m;Alpamayo-R1 59/121(48.8%),0.27 m;ORION 承诺场景太少,未下结论(§6.3、图 4)。
  • 对象移除后,重生成的推理一致地不再把被移除物体当作在场或与动作相关,但轨迹并不总执行新推理所说的动作——图 3 给了"推理改了、轨迹没改"的定性案例(§6.2)。
  • AutoVLA 的"delete/filler 主导"在 DriveLM 与 PhysicalAI-AV 上都复现,说明它不是单一评测集的场景构成造成的(§6.4)。67
证据与局限:原文未单列局限;§5.1 自陈 OmniDrive(规划头不条件于推理输出)、Impromptu(固定规划模板而非场景特定决策)、AutoDrive-R2(自由文本输出坐标、没有可局部编辑的承诺句)因接口不支持局部语义干预被排除;§6.3 说明 ORION 的承诺场景太少、无法下结论;§4.3 的对象移除依赖检测/分割/传播的自动链路加人工校对,并设了事后质检的剔除标准。我判断:配对设计是对的——同场景同 seed,用 paraphrase 控制消掉"文本一改轨迹就动"的非语义敏感,三个 seed 逐场景配对;但证据强度很不均:AutoVLA 的 delete/filler 主导在两张数据集上复现,算较强的复制;Alpamayo 的内容敏感性只来自 PhysicalAI-AV 一个 349 事件的集合,而"推理改了轨迹没改"只有图 3 的定性案例、没有计数;方向跟随率的分母是"承诺场景"子集,这个子集由 Qwen 分类器界定,换分类器可能改分母。所以"弱耦合"应读成"多数模型上出现的两类失败模式之一",不是"所有模型的推理都不可信"——AutoVLA 的 92.6% 恰恰是反例。67
复现:原文未提供作者代码链接。可核的是被评测模型的发布权重(如 huggingface.co/nvidia/Alpamayo-1.5-10B)与数据集 huggingface.co/datasets/nvidia/PhysicalAI-Autonomous-Vehicles;四个模型都从发布检查点本地运行、未做任何微调。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"判官与指标"这一侧,也反向约束 B 线的自进化。连接点是它把"推理是否解释行为"变成可测量的三件套:同一场景内的语义改写对 paraphrase 配对、以"相机置空"作为模型自身的敏感度标尺(这样跨模型可比)、以及把"陈述方向对解码方向"做成一致率。这套口径可以直接搬到长程智能体:改写工具调用前的推理、看后续动作跟不跟;删掉环境证据、看推理与动作是否同步更新。迁移条件是需要一个可干预的局部文本接口(这里是 AutoVLA 的 rationale 块、ORION 的 justification),以及一个模型内部的参照尺度;开放式 agent 轨迹里没有"相机置空"这么干净的对照,替代品只能自己构造"删证据"的条件,而删证据本身又会同时改变输入分布,这是搬运时最容易失守的地方。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
图注:四个并列的鸟瞰轨迹面板,从左到右是 AutoVLA(DriveLM)、AutoVLA(PhysicalAI-AV)、Alpamayo-R1(PhysicalAI-AV)、Alpamayo-1.5(PhysicalAI-AV);没有坐标轴刻度,每格都是一束从底部同一原点向外发散的预测轨迹,中央一条灰色点线作纵向基准。浅蓝线对应推理里声明"向左",浅红线对应声明"向右"。前两格蓝线整体压向左侧、红线压向右侧,家族分离清楚;后两格里两色大面积交错、几乎叠在同一条纵带里,这就是正文里三组横向端点中位差 7.06 m / 0.27 m / 0.01 m 的图形对应(arXiv:2610.30953)。
站内摘要出入:站内摘要写“推理与实际驾驶行为耦合度弱”,原文的结论是分模型而定——AutoVLA 的陈述方向与解码方向一致率是 187/202(92.6%)、左右中位端点差 7.06 m;弱耦合主要体现在对推理内容不敏感(delete/filler 15.65% 对内容改写 3.26%)以及两个 Alpamayo 模型(45.8% 与 48.8%)。

十一、工程化、感知与决策侧

七篇的方法论比结论更有用。
最值得借的是前缀不变性审计:因果掩码正确不代表前缀输出不依赖未来 token,验证损失从 3.60 降到 1.43 的「提升」被审计推成泄漏,修复后泄漏分降到 0.0000。这是一条可以套到自己训练管线上的检查。
感知侧三篇量的是能力上限与失败分布:双人协作厨房里最强模型订单完成率 26.2%;细粒度 GUI 定位最强 83.2%;把智能体与世界模型分开考,最高分只有 31.3。
另三篇是决策与推理侧:人工智慧框架的探索性研究、元智能体在非平稳环境里的换架构、以及直接优化 pass@k 的思维剪枝(中等 k 高约 3 点,k=16 被反超)。

68. 决策调节评分取九项最小值:每域 24 个场景才把系统效应 RMSE 压到 .25 以内 · arXiv:2610.31012 · 邻近跟踪

Evaluating Artificial Wisdom (AW): A Trajectory-Based Framework for Context-Sensitive Decision Regulation · arXiv:2610.31012 · 邻近跟踪
作者与机构:Md. Jalil Piran(Sejong University,计算机科学与工程系,Department of Computer Science and Engineering, Sejong University, Seoul 05006, South Korea),唯一作者兼通讯作者,无合作单位。
研究问题与核心方法:
要问的是:能力基准测得出模型会不会做题,测不出它在决策条件变化后是否还给出恰当建议——能不能把“情境敏感的决策调节”做成一套预注册、可审计的测量协议,并先算清它需要多少样本?
测量单元是脚本化的咨询轨迹,不是真实执行。每个场景六阶段:一次初始决策、三次实质变化(至少一次“必须改”、一次“只改保障或不确定性”)、两次无关变化;信息释放、允许提哪些问题、答案成本、评分点全部在看模型输出前冻结。
响应记成三元组 (a_t, r_t, q_t):动作记录(disposition 取 act/inquire/defer/escalate/reject 之一、决策内容 b_t、保障措施 S_t)、公开理由、不确定性表述。七个阶段级判据按 0–4 序数评分,用累积链接混合模型估 p_mk=Pr(x≥3),即“独立合格评分者判充分的概率”。
两个转换成分补上时间维度:R_mat 是实质变化后回答仍充分的比例;R_stab 是“无关变化下、且前一步已充分”时守住承诺类别的比例,因此重复犯错拿不到稳定学分。由于资格随模型变化,报告时强制同时给 R_stab、π_elig 与 J_stab=R_stab×π_elig。
主输出是九维剖面(七个 p 加 R_mat、R_stab),次要是 AWS=100×min{七个 p, R_cor},R_cor=min{R_mat,R_stab}。最小值规则是明确的规范立场:任何一项弱都不能被其他项补偿;关键失败(七类,如伪造决定性证据、无视已知重大风险)另计 CFR,不进总分。
设计规模:四个域(科研、教育、公共基础设施、组织资源分配),每域 16 个开发场景 + 48 个留出场景,合计 256 个场景(留出 192 个);12 个模型谱系簇 × 每簇 2 个配置 = 24 个系统,再乘 2 种等价 prompt 形态 × 每形态 2 次运行 = 4 个“形态-运行”格。于是 256 场景 × 24 系统 × 2 种 prompt 形态 × 2 次运行 = 24,576 条轨迹——四个实体层级(场景、系统、形态、运行)逐个相乘,所谓"4 格"就是 2 形态 × 2 运行;一条轨迹 = 一个系统 × 一个场景 × 一个形态 × 一次运行,不是 256 乘以某个“实例数”。 68
关键结果:
  • 单判据精度仿真(种子 20260929,每格 300 次重复):每域 24 个场景时,中等设置下系统效应 RMSE=.139、充分性概率的 95 分位绝对误差 E_p=.064、转换汇总 E_R=.091;异质设置下 .225/.084/.092,均落在预设门槛(RMSE≤.25、两个误差≤.10)内(表 6,§6.4)。
  • 瓶颈估计在“近平局”下向下偏:每域 24 个场景偏差 −.55 分(SE .09),48 个 −.17(.06),96 个才 −.04(.05);选中真实瓶颈的概率对应为 .636、.782、.850(表 7,§6.5)。
  • 家族级预测力仿真:中等改进 Δ=.027 时,8 个家族检出概率 .508,12 个家族 .742;小改进 Δ=.017 即使 12 个家族也只有 .356(图 3,§6.6)。
  • 工作量可以自己复算:24,576 条轨迹 → 约 29,491 次轨迹评分(主格 6,144×3 名评分者=18,432,另三条附加格各按 .20 抽样约 3,686 条再乘 3≈11,059)→ 约 176,947 次阶段评分(29,491×6)→ 最多约 124 万次判据评分(176,947×7)(§6.1、§6.3)。
  • 最小值规则的效果可算:假设某系统七个判据率 (.90,.85,.80,.88,.75,.82,.86)、R_mat=.90、R_stab=.80,则 AWS=75;只把“后果意识”从 .80 提到 .81,AWS 跳到 80,因为瓶颈换了(§5)。
  • 探索性临床研究:5 个场景 × 6 个界面配置 × 6 阶段,得 71 条完成的评分记录(对应 179 条存档阶段回答,理论值 180);“战略/长期后果”一项合并均值最低,为 2.70,且在 6 个配置中 5 个为最低或并列最低;域排序一致性 Kendall's W=.586,补偿式与最弱域式汇总的 Spearman ρ=.771(§7)。
  • 预注册门槛:H1 要求每个判据的序数 Krippendorff α 单侧 95% 下界 >.80;H2/H3 要求家族留出 Brier 损失改进 >.01,并用 Holm 控制 H2、H3 的族错误率(表 5,§6.2)。 68
证据与局限:原文自陈:仿真用的是简化估计器(二值充分性评分、稳定性资格独立模拟),不构成完整估计器的操作特性;探索性临床研究“不是该工具有效性、可行性或可靠性的证据”,其 71 条记录不是独立单元、关键错误未裁决;12 家族目标“仍是临时的”,可行性未评估;近平局下瓶颈身份不稳(表 7)。我判断:全文没有任何一个按最终协议跑出的实测分数,所有数字要么是固定种子的仿真(300/500 次重复),要么是旧 rubric 的 71 条记录,因此这些数字只能当“设计参数”读,不能当“这方法有效”的证据。第二个要注意的点是资格与稳定性绑在一起:R_stab 只在前一步充分时可定义,跨系统比较若不同时报 π_elig 与 J_stab,读者会误以为大家在同一个机会集上比。 68
复现:原文未提供代码或数据链接。关键配置:单判据仿真种子 20260929、300 次重复;瓶颈仿真种子 20261003、500 次重复、真值来自 400,000 个模拟场景;家族级仿真种子 20261010、500 次重复;百分位 bootstrap B=200,保守区间 B=20,000,Bonferroni 分九路、每路名义覆盖 1−.05/9。
与目标研究线的关系:属 A(长程任务的训练与评估)。可搬走的是“实质/无关转换”的预注册标注,加上“只在前一步充分时才计”的稳定性率:把长程任务日志里每次环境反馈先标成 material 或 immaterial、再分别算 R_mat 与 R_stab,就能把“该改没改”和“不该改却改了”拆成两个可报的数,而这两件事在只看最终成功率的基准里会互相抵消。成立条件写在原文里:转换的实质性与承诺类必须在看到模型输出前冻结;做不到的话,R_stab 的资格集随模型变化,跨系统比较直接失效。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
三条虚构的六阶段咨询轨迹横向对照:列 0–5 标出阶段与“实质/无关”标签(Stage 0 初始决策、1 实质、2 无关、3 实质、4 无关、5 实质),三行分别是“恰当调节”“始终放行”“始终保留”。绿框配 ✓ 表示该步回答充分,红框配 ✗ 表示不充分;Stage 3 那一列的“始终保留”一格被橙色虚线框标出——条件变化后它变得充分,但没有发生决策修订,只拿目的充分性、不拿稳定性学分。图里没有坐标轴与量纲,全部是离散阶段与判定符号。(arXiv:2610.31012)
站内摘要出入:摘要写“通过模拟与探索性研究验证其特性”,原文摘要与 §7 明确写该探索性研究 “does not validate the proposed instrument”,仿真也只是“考察”简化估计器的行为,全文没有按最终协议得到的效度证据。

69. 昇腾算子智能体:标准集 1,060/1,060,隐藏集 98.28%,均分 78.63 · arXiv:2610.31034 · 值得扫读

CANNBot-CAKE: Collaborative Agentic Kernel Evolution for Ascend NPU · arXiv:2610.31034 · 值得扫读
作者与机构:Deng Pan 与 Xue-Jian Gao 为共同一作(原文脚注 “These authors contributed equally”),其余作者 Junyi Fan、Bin Du、Jiasheng Li、Xinxian Chen、Nok Yan Chang、Xinlin Li、Lingchao Zheng、Jun Li、Yuwei Fan;全部署名 Huawei,通讯邮箱 gao.xuejian1@huawei.com 与 fanyuwei2@huawei.com。
研究问题与核心方法:
要问的是:通用模型在 AscendC 上几乎写不出能部署的算子(原文引用的对照:零样本基本全军覆没,一次性通过率 ≤2.1%,而 CUDA 有 44.2–52.6%),能不能用一套 CANN 原生工作流把“意图→可部署算子”整条链跑通,并让每次运行的测量结果变成下一次的先验?
交付单位不是 kernel 片段,而是可部署的 CANN 自定义算子:算子契约(op_desc.json)→ PyTorch 参考实现 → 无状态 functional form → 路由选 DSL → host 侧 tiling 与 device 侧 AscendC → 打包安装 → Python 绑定 → 精度与性能评测。每一步产物都可检查,失败能定位到阶段而不是归因于“模型答得不好”。
路由把契约压成八维结构特征 (T,S,B,R,D,M,F,C) 与一个难度 b=βᵀφ(β 为 0.51/0.78/0.59/0.70/0.44/0.61/0.64/0.98)。L0 能力门先删掉不可行的 (track, chip, 算子类型) 组合,全不可行时“弃权”而不是猜;L2 用逐维能力 θ_d 的 item-response 模型打分 p=σ(a₀+Σθ_d·φ_d/3−b);L3 把 (track, chip, φ, b, y, skill 版本) 追加进只增不改的账本。
路由不能只用单一标量能力,否则排序对所有算子都一样。原文给了具体反例:DSL-A 原始均分 0.576、DSL-C 0.471,差 0.105 看着像明确优劣,但难度校正后的标量能力是 −0.95±0.38 与 −0.99±0.36,统计上不可区分;只有逐维模型才让排序随算子变。探索用 p(1−p) 判资格、用 θ+1.96·se 上界挑候选;技能升级后旧观测按半权重进入估计,逼着重测。
Evolution 模式先用 roofline 估 T_min=max(读、写、cube、vector 四条流水),得到“天花板”与瓶颈签名,再按签名派发变异方向;每轮并行生成 N 个候选,按编译、精度、性能排序分 good/medium/poor 三档,下一轮从三档抽样,headroom≈1 或轮次用完即停。Skills harness 是 30 多个类型化生命周期工具,agent 只声明可调用哪些;每次调用留 trace,同一失败模式出现两次必须回推到 lowering 或项目骨架,而不是记进“坑列表”。 69
关键结果:
  • 53 个 CANN-Bench v1.1 算子(难度 L1–L4 分别 8/16/21/8 个)、Ascend 950PR、每算子 20 个标准例 + 80 个隐藏例:标准集 1,060/1,060=100%,隐藏集 4,167/4,240=98.28%;53 个算子全部通过所有标准例,38 个通过所有隐藏例(§6)。这里 1,060=53×20、4,240=53×80 可以整除核对。
  • 均分:标准集 79.31、隐藏集 77.95、总体 78.63(原文口径为 53 个算子 × 两个 case 集等权;79.31 与 77.95 本身已是同一批 53 个算子的均值,两者再平均即得 78.63,我复算 (79.31+77.95)/2=78.63);评分权重为编译 0.2、功能正确 0.3、性能 0.5(§6)。
  • 分难度看,短板在性能不在正确性:标准集各级通过率都是 100%,均分 86.86/82.07/76.32/74.11;隐藏集通过率 100%/99.22%/98.21%/94.84%,均分 91.76/80.31/76.46/63.34(图 7)。
  • EngramGateFusion(CANN-Bench level-3,无官方优化 kernel):20 轮、36 个变异、1,037 次 LLM 调用(末轮 186 次用于验证与打包);聚合 device 时间 1,451.7 μs → 775.7 μs,降 46.6%(我复算 1,451.7/775.7=1.87×);融合指标 45.5×→98.2×,roofline 差距 25.7×→12.6×;同基准端到端加速均值 29.5×(几何均值 27.6×);官方评分 71.30,20/20 通过(§4.4、图 6)。
  • 逐维能力剖面解释了分工:DSL-B 在 blocking 上 θ_B=+2.83,DSL-A 在 data movement 上 −1.69(DSL-C −0.31)、在调度深度 +2.45(DSL-C +0.91);四个算子在 910B 上选出三条不同 track(表 2、图 3)。
  • CAKE Book 只有“写入路径”的证据:CI 记录 → 词条 → 可检索引用这条链能跑,但本轮评测没有隔离出它对成功率或性能的因果贡献(§6.2 明写 “not isolated”)。 69
证据与局限:原文自陈:CAKE Book 的因果效应未被隔离;Router 示例与 EngramGateFusion 用 910B/910C,而汇总分数来自 950PR;官方 71.30 与本地 72.80 不可直接比(开发机 48 个 vector core、评分机 40 个);首轮官方提交因 host 侧 UB 记账与 kernel 布局不一致失败 12 个 case,最终 20/20 指修复后的包。我判断:主结果是“通过率”而非“性能”——1,060/1,060 说明能编译、能跑对,真正的性能证据只有单个算子的一次 20 轮战役,且基线是 CAKE 自己第 1 轮的 kernel 而非厂商实现,所以 46.6% 只能读作自比自的改进;摘要里的 1.334× 平均加速比没有在正文给出逐算子分布与基线定义,引用时要把这一点说清。 69
复现:https://gitcode.com/cann/cannbot-skills(原文脚注的 CANNBot 官方仓库);任务集 https://gitcode.com/cann/cann-bench。系统用现成模型、不做训练,因此原文未给学习率、卡数、种子等训练配置;账本与决策日志的设计(记录候选快照与 skill 指纹)是复现路由行为的必要条件。
与目标研究线的关系:属 B(轨迹学习与自进化)。可搬的是三件机制,而不是“又一个 kernel agent”:(1) 只增账本加 skill 版本指纹,让“换了 harness 之后旧分数还算不算数”变成可查询的问题(原文对旧版本观测按半权重处理,正是承认了这一点);(2) 用 item-response 把“不同 track 试过不同算子集”的原始均分校正成能力估计——0.576 对 0.471 的假差距是最好的教材;(3) 只有跨用户复核加真机验证过的经验才升级为静态参考,其余留在 wiki 层,合并权留给人。成立条件很硬:每个任务必须有一个可比的数值分数 y,否则账本没东西可写;skill、prompt、template 每次改动都要打版本指纹,否则能力估计会把两个配置混成一份。
来源:公众号条目 · 官网条目 · arXiv 原文

70. 把智能体与世界模型分开考:1,088 项与 400 例,最高分只有 31.3 与 21.7 · arXiv:2610.31066 · 值得扫读

Dual Exam: Controlled Evaluation of Multimodal Agents and World Models · arXiv:2610.31066 · 值得扫读
作者与机构:第一作者 Zhefan Rao,随后 Meng Chu、Xuan Zhang 等共 83 位作者;原文未逐人标注机构对应,文末统一列出 27 家单位(The Hong Kong University of Science and Technology、National University of Singapore、The Hong Kong Polytechnic University、Carnegie Mellon University、MIT、Stanford University、University of Oxford 等),并注明 “Corresponding author”。
研究问题与核心方法:
要问的是:世界模型(WM)与多模态智能体(MA)互相喂数据时,端到端失败到底该记在谁头上?能不能把一侧固定住、只考另一侧?
先证明“耦合评估不够用”。试点用 GPT-5.6 Sol 驱动 Seedance 2.5:10 个场景 × 15 例 = 150 例,每例最多 20 步、不允许 episode 级重试,任务成功率 0.0%,世界状态一致性 26.6%、智能体纠正响应 9.2%(表 1);轨迹能看出状态不一致与响应缺失,但归因不了(§2.1)。
于是拆两轨。Agent 轨固定参考环境响应机制 T*(a_t~A_θ(h_t),o*{t+1}=T*(s_t,a_t)),只考动作选择、验证、恢复与完成;WM 轨固定动作干预序列 a*{1:T},只考 o^_{t+1}=M_φ(ŝ_t,a*_t) 是否实现请求的效果、保住既有状态与身份。两轨共用“规范式验证”的五个要素(初始条件、允许干预、必需变化、受保护状态、证据规则),但任务集、指标、聚合规则各自独立。
Agent 侧 1,088 项、15 个报告类别、四个域:Physical 524、Digital 255、Social 200、Scientific 109(我加总 524+255+200+109=1,088)。Index I_m=Σ_c n_c s_{m,c}/1088,按题量加权,域权重约 48.16%/23.44%/18.38%/10.02%,原文明说这是“库存权重”而非域重要性。
WM 侧 400 例、八个场景各 50 例:Physical 域 Embodiment/Driving/Daily Life 各 50,Digital 域 Web/Game 各 50,Social 域 Human Interaction 50,Scientific 域 Natural Science/Expert Science 各 50(150/100/50/100)。Overall 是八个场景分的等权平均,隐含域权重 37.5%/25%/12.5%/25%,不是等域平均;400 这个数不乘配置数,16 个配置评的是同一批 400 例。
评分走任务级验证器,0–100 分;严格成功与分级得分混用时必须标注。WM 的检查项固定为请求效果、状态与身份保持、共享状态一致、规则遵守,构造评审不等于对输出分数的独立一致性检验。 70
关键结果:
  • Agent 侧 Index:GPT 6 Astra 31.3 最高,其后 GPT 5.6 Sol 20.7、Gemini 3.6 Flash 20.1、Qwen 3.8 Max 20.0、Kimi K3 19.8、DeepSeek V4.1 Flash 18.3;10 个配置没有一个在所有类别领先(表 3)。
  • 同一配置的类别跨度远大于配置间的 Index 差距:各类别最高分从 Manipulation 9.5、Action Sequencing 11.2、Desktop 5.6,到 Web 29.6、Mobile 42.9、Game 47.1(§3.1)。
  • 换聚合口径会换名次:改等域加权后 DeepSeek 从第 6 升到第 2、Kimi 从第 5 升到第 4,GPT 6 Astra 仍第一(§3.1、附录 A.2)。
  • 科学域 109 项:GPT 6 Astra 50.6 最高,DeepSeek V4.1 Flash 44.0、GPT 5.6 Sol 42.2,但类别冠军分散(Astra 数学 60.8、物理 52.2;Sol 医学 45.4;DeepSeek 生命科学 53.7)(表 3)。
  • WM 侧:GPT-Image-2 全八场景 Overall 21.7 最高,Qwen-Image-3.0 21.1、Nano Banana 2 19.5;16 个配置里 15 个覆盖全部八场景,Seedance 2.5 只覆盖六个(300 例,缺 Daily Life 与 Human Interaction,因人脸生成限制),其六场景均值 18.7 单列、不进全覆盖排名(表 4)。
  • 数字场景是全体短板:Web ≤16.5、Game ≤13.3;MiniMax H3 在 Embodiment 拿 53.8,Web 只有 3.7、Game 8.5;Qwen-Image-3.0 在 Daily Life 46.1,Web 10.7(表 4、§3.2)。
  • 总分高不等于适合当某智能体的搭档:GPT-Image-2 Overall 21.7 高于 MiniMax H3 的 17.3,但在 Embodiment 上 20.9 对 53.8,顺序反转(§3.2)。 70
证据与局限:原文自陈:两轨的分数用不同任务、不同指标、不同聚合,不可直接比较;没有对 WM 输出分数的独立分层一致性估计;打包案例的审计是回溯性的(rubric 在看到轨迹后才定),标签未经独立裁决;排行榜是描述性点分,没有重复运行的不确定性或显著性检验;科学域把二值修复、检查点与分级优化混在一起,Borden 与 DABIC 的 [0,100] 截断是本文自定的约定。我判断:这是诊断工具而非排名榜——1,088 项与 400 例的规模可信,但 10 个 Agent 配置与 16 个 WM 配置各只评一遍(未见重复),表里的个位数差距不能当结论;真正稳的是结构性发现:类别强弱严重不齐、数字场景普遍低、汇总口径能翻转名次。 70
复现:原文未提供代码或数据链接。关键设置:Agent 1,088 项按题量加权,科学域由 63 个 ALE 任务 + 30 个 SWE-bench 修复任务 + 10 个 ToolChoice 检查点 + 6 个 EdgeBench 优化任务合成;WM 400 例固定干预、每场景 50 例;两轨均按 0–100 分、任务级验证器评分。
与目标研究线的关系:属 A(长程任务的评估)。最可搬的是“固定一侧、考另一侧”的设计:当长程 agent 跑在自建模拟器里,把环境响应机制冻结成 T*、只让 agent 的动作变,就能把“规划错”与“环境答错”分开;反过来固定动作序列,就能单独测模拟器的状态一致性——这正是长程任务里最难归因的一类失败。成立条件:环境必须可复现地冻结(同一 state + action 得同一 observation),验证器必须是规范式的而不是模型自评,否则“固定”只是换了一种噪声。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
中央是一个蓝橙两半的太极式圆环:蓝色一半标 World Model、橙色一半标 Agent,两条箭头构成闭环——上弧 “Environment & Foresight” 从 WM 指向 Agent,下弧 “Interaction Evidence” 从 Agent 指回 WM,中心写 DUAL EXAM。环外四角是四个域的实景缩略图:左上 Physical World(Navigation、Manipulation)、左下 Digital World(Desktop、Game)、右上 Social World(Interaction、Coordination)、右下 Scientific World(Experiment Simulation、Parameter Search)。环上方四个蓝标签 Generate/Simulate/Respond/Adapt,下方四个橙标签 Plan/Act/Interact/Solve,没有坐标轴或量纲。(arXiv:2610.31066)

71. 1,500 对细粒度 GUI 定位:最强模型字符级 70.4%、区域框 56.0% · arXiv:2610.31274 · 值得扫读

PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding · arXiv:2610.31274 · 值得扫读
作者与机构:Valentino Sacco(Sapienza University of Rome;原文注明工作完成于 Warmwind AG 实习期间)、Saurabh Pandey、Alexander Florian Jercher、Maximilian Schilling(后三位均 Warmwind AG)。
研究问题与核心方法:
要问的是:端到端 benchmark 把“规划错、定位错、执行错”混成一个成功率,能不能把 GUI 定位这一层单独抽出来,用像素级目标诊断细粒度几何能力?
三个 500 例子集共 1,500 对“截图-指令”:Sheets 考表格结构与几何(单元格、表头、颜色区域、相对引用、细列边界、resize 手柄、单元格角),Text 考字符级文本(词、字符、标点、插入符、文本区间、发票字段,六种语言),Pro 考 100 个专业应用里的图标、文本与控件。三个 500 是并列关系,不是 1,500 乘了什么。
输入固定 1024×768 坐标系,输出点或框。点落在标注区域内算对;框要目标覆盖率 ≥0.90 且预测精度 ≥0.70;格式错误直接判失败。选这个分辨率的理由写得很直白:1–3 px 的分隔线与字间插入符在高分辨率下相对面积更小、更难,同时高分辨率会让推理时间明显变长。
数据是程序化渲染的:Sheets 与 Text 由受控界面描述生成,Pro 由生成的专业界面组装,每个应用恰好 5 例(100×5=500)。Text 子集含 366 个点目标与 134 个框目标,语言配比固定为 50% 英文 + 德/法/西/意/荷各 10%。
评测覆盖两类系统:通用多模态模型(开 reasoning)与 39 个开源专用 GUI 定位配置(2B–32B),后者按各自的原生 prompt 与 parser 评,避免用统一坐标约定压低它们。全部输入分辨率固定、目标几何像素级确定,评分器随数据一起开源。 71
关键结果:
  • 通用模型里 Claude Fable 5 平均 83.2% 最高,Opus 5 81.1%、GPT-5.6 Sol 77.7%,其后 Luna 72.7%、Terra 72.3%、Sonnet 4.6 72.2%;Kimi K2.5 只有 5.7%(表 1)。
  • 子集间落差极大:Sheets 上 Opus 5 98.8%、Sol 97.8%、Fable 97.6%,同一批模型到 Text 只剩 Fable 69.6%、Opus 63.2%、Sol 53.4%(表 1、§3.3)。
  • 粒度一细就断崖:字符级 Fable 70.4%、Opus 51.9%、Sol 48.1%,专用配置掉到 11.1–18.5%;插入符 Fable 64.7%、Opus 62.6%、Sol 51.9%,专用最好 34.2%(表 3)。
  • 区域框是另一道坎:134 个区域任务上,原生只输出点的专用配置一律 0.0%;能出框的 GUI-G2-7B 12.7%、UI-Venus-Ground-7B 11.2%;通用模型 Fable 56.0%、Opus 50.7%、Sol 30.6%(表 3)。
  • 专用模型最好的是 MVP-32B,平均 59.3%(Sheets 68.4 / Text 34.0 / Pro 75.4),比最强通用模型低 23.9 个百分点;9B 以下最好的是 MAI-UI-8B 51.3%(表 2)。
  • Pro 的失败集中在图标:图标只占 38.0% 的样本,却占 57.3% 的合并失败(§3.3)。
  • 坐标系不合规会制造假失败:Gemini 3.7 Flash 与 Qwen3.8 Max 仍按 0–1000 归一化坐标输出,官方分只有 3.1% 与 2.8%;统一换算到 1024×768 后升到 78.1% 与 55.4%(§3.3)。 71
证据与局限:原文自陈(附录 H):只隔离单步定位,不含时序规划、恢复与环境动态;固定 1024×768 与绝对像素,不测任意分辨率、缩放策略或其他坐标表示;闭源模型无法核查预训练是否见过相似界面;Sheets 与 Text 是为本基准生成的,Pro 用的是生成的专业界面,降低但不消除与既有数据集的重叠。我判断:三点里最要紧的是“合成渲染”——指令与界面同源生成,读图难度可能低于真实软件截图,83.2% 这种绝对值不宜当作真实产品上的成功率;但子集内部的相对排序、以及“词→字符→区域”逐级下跌的梯度很稳,因为每个子集 500 例、目标几何像素级确定、评分无歧义。原文另给了推理预算敏感性:Luna 从关闭推理的 51.6% 升到 medium 的 72.7%,Sonnet 从 68.7% 到 72.2% 但 low 档反而低于关闭(66.9%),说明这张表混了不同推理档,跨模型比较要看清档位(附录 D)。 71
复现:https://github.com/warmwindOS/pointerbench。关键设置:固定 1024×768 绝对像素、点判据为落入标注区域、框判据为覆盖率≥0.90 且精度≥0.70;Text 366 点 + 134 框;Pro 每应用 5 例;确定性生成,只保留唯一目标。
与目标研究线的关系:属 A(长程任务的评估),具体是把长程任务最底层的一步拆出来单测。可搬的做法:当长程 agent 在同一任务上反复失败时,先用固定分辨率、绝对像素的单步定位集判断是“选错控件”还是“点不准”;Pro 里图标占样本 38.0% 却占失败 57.3% 这种分布信息,比总成功率有用得多。成立条件:坐标系与分辨率必须和你的 harness 一致——Gemini 3.7 Flash 从 3.1% 变 78.1% 就是坐标约定造成的假失败;跨分辨率、缩放策略的鲁棒性原文没测。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
左边三格是任务样例:(a) 表格里一条细列边界被标成目标,(b) 单词 “cart|ons” 中间的插入符位置作为目标,(c) 专业剪辑软件界面里选中片段上的方框目标。右侧是一张散点图:横轴是模型公开发布月份(2025-08 到 2026-08),纵轴是 PointerBench 平均成功率(0–100%),点按厂商着色(OpenAI、Anthropic、Google、Qwen、Moonshot、MiniMax、Stepfun、xAI、小米),标出 GPT-5 约 23%、GPT-5.4 约 46%、GPT-5.5 约 60%,Fable 5 与 Opus 5 落在 80% 以上;2026 年 1 月处有一个 “Center-click baseline” 的叉号。(arXiv:2610.31274)

72. 双人协作厨房基准:最强模型订单完成率 26.2%,共享笔记本效果正负各半 · arXiv:2610.31511 · 邻近跟踪

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination · arXiv:2610.31511 · 邻近跟踪
作者与机构:Ziyi Jiao、Heng Zhang(University of British Columbia,计算机科学系)、Drishti Regmi、Xiaokang Ye、Lianhui Qin(University of California, San Diego)、Peter Yichen Chen(University of British Columbia,计算机科学系,末位作者)。原文未标共同一作或通讯作者。
研究问题与核心方法:
要问的是:一个 VLM 同时操控两个厨师,在设备争用、地形变化、必须隔台传递的厨房里,能不能按订单截止时间做出协调调度?
20 张 Unreal Engine 地图、五类各 4 张:basic、shared equipment、dynamic、dynamic + shared equipment、separated workspaces。地图由 coding agent 经 SimWorld Studio(MCP 工具 + Markdown skills)生成,两个 claude-opus-5 进程分别写构建提示与建场景,之后人工修碰撞、可见性与相机,再用脚本校验 actor 名称(§3.1–3.2)。
控制接口是“高层动作 + 引擎寻路”:每步输入俯视厨房图(带网格标签)、道具图例、约 4,000 词的地图级 system prompt、live-state JSON、合法操作列表、执行反馈,以及每个玩家最近六次响应;模型只输出“目标格 + 动作”,NavMesh 负责走路,非法组合返回错误让模型重试(§3.4–3.5)。
计分:每 1,000 步来一个订单、3,000 步过期;每单 20 分加等待小费(绿 8 / 黄 5 / 红 3 / last call 0),再乘连击倍数(1,1,2,3,4,封顶 4),过期清零连击(§3.3)。
记忆消融只改一个条件。两条件都有六次响应历史、live-state、图例与合法操作;实验条件额外给一个“共享自写笔记本”:按 (格子, 物体类型) 建键、写入覆盖旧值、状态 unknown 即删除;半衰期 600 步,同伴写的衰减快一倍(ρ=2);渲染成三档置信带(>0.75 just seen、>0.45 fairly sure、>0.20 hazy,低于 0.20 丢弃);容量 24 条、单作者上限 16 条,且从不查模拟器真值(§4.4)。
评测:四个 VLM(gpt-6-astra、claude-opus-5、qwen3.8-27b、gemini-3.5-flash-lite),每模型在 20 张图上有/无记忆各跑一次,episode 4,000 步;五个指标为总分、订单完成率、交付精度、动作接受率、每 episode API 花费(§4.1–4.2)。 72
关键结果:
  • 最强 gpt-6-astra:完成率 26.2%、总分 25.6、交付精度 93.8%(n=16 张有交付的图)、动作接受率 64.6%、$5.18/episode;其余三个完成率 8.8%–11.2%(表 2)。
  • 多数 episode 一单不出:claude-opus-5 在 20 张图里 15 张零交付,qwen3.8-27b 14 张零交付(§4.3)。
  • 最难两类接近全员失败:地形变化 + 设备共享类,四个模型里三个零交付,只有 gpt-6-astra 四张全有分(均值 29.0);分离工作区类,claude 与 gemini 各四张全零(§4.3)。
  • 动作接受率与得分不同序:claude 接受率 52.7% 但总分 8.2,gemini 接受率 32.1% 但总分 11.9(表 2)。
  • 记忆是混合效应:claude +4.8 分(bootstrap 95% CI [+1.0,+9.4],唯一不含 0 的区间),qwen +1.4([−6.6,+9.4]),gpt −2.7([−12.4,+7.0]),gemini −8.1([−17.4,+1.8])(§4.4、图 4)。
  • 记忆对所有模型都更贵,加上笔记本后 gemini 的动作接受率从 56.4% 掉到 32.1%、交付从 21 盘降到 12 盘;gpt 接受率从 70.3% 降到 64.6%,但总盘数两次都是 23(§4.4)。
  • 笔记本里 40.1% 被读到的条目由同伴写入(10,732/26,750,我复算 0.401)(§4.4)。 72
证据与局限:原文自陈:每个模型-地图-条件只跑一次,固定初始状态只保证场景配对,不能估计重复运行的波动;集中式双人控制把沟通、私有信息与独立队友适配排除在外;俯视图、引擎寻路、图例、pot 指示、live-state 与合法操作列表都在帮忙,成绩只在这个接口下成立;地图不是从指定总体抽样,bootstrap 只重采样地图;生成地图会重复结构模式,也不能排除菜谱与概念已在预训练里;支撑日志与逐图指标未随稿提供,无法独立复算。我判断:26.2% 的置信度不高——单次运行、无重复、每类只有 4 张图,类别均值就是四点平均;但“最难两类接近零交付”与“记忆有正有负”跨四个模型一致,方向上仍可用,只是别把 26.2% 当成能力上限。 72
复现:原文未提供代码或数据链接,并明确写 “Supporting episode logs, per-map metric tables, and analysis scripts are not included”。关键配置:episode 4,000 步、订单每 1,000 步到达 / 3,000 步过期、每模型每图每条件各 1 次、记忆半衰期 H=600 步、ρ=2、容量 24/16、置信带阈值 .75/.45/.20;采样温度等模型参数原文未报告。
与目标研究线的关系:属 A(长程任务的训练与评估),记忆部分可迁到 B。可搬的是“共享自写笔记本”的工程细节:按 (格子, 物体) 建键、写入即覆盖、指数衰减加传闻打折、容量卡在可寻址物体数以下——这比“把历史全塞进上下文”更像一个可测、可消融的记忆模块;消融设计也干净,两条件只差笔记本一项。成立条件:只有任务状态能枚举到“格子×物体”这种粒度时才成立;而且作者刻意让衰减不查真值,错条目会一直留在表里,这既是设计(不提供答案键)也是风险(衰减只降置信、不纠正内容,错条目会一直留在表里被后续读取)。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
三联流程图,从左到右三个阶段:① Kitchen Generation——参考图加指令(环境类型、布局描述、站点数量、特殊约束)经 SimCoder 场景编写 agent 走“规划布局→取素材→经 MCP 搭建”,再由视觉保真与运行时契约两项检查验收,产出带 Lava island、Space station、Cross kitchen 的厨房库,每个关卡发同一份场景契约;② Animated Co-op Runtime——共享厨房状态(砧板、锅、碗、台面传递)经“状态 + 同伴上下文 + 合法操作”送进 Joint Controller,分给 Chef 1 与 Chef 2 各一个动作,选中操作后由引擎执行 Move/Chop/Put/Serve,再把更新状态回灌;下方给出洋葱汤的操作序列 Fetch→Chop→Cook→Serve→Wash;③ Benchmark Evaluation——限时订单(在耐心耗尽前上菜)、团队收益(基础 20 分 + 小费 × 连击,绿 8 / 黄 5 / 红 3 / last call 0)、五项指标与四个被比模型。(arXiv:2610.31511)
站内摘要出入:摘要写“评估视觉语言模型的协调能力”,原文限定为“集中式调度(centralized coordination)”——单个模型同时控制两个角色,且明确把沟通、私有信息以及独立队友的适配排除在评测之外,不能读成多智能体协同能力。

73. 因果掩码挡不住未来令牌:验证损失 3.60→1.43 的“提升”被审计推翻 · arXiv:2610.31522 · 精读

Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models · arXiv:2610.31522 · 精读
作者与机构:Huiting Liu、Jinsong Wu(桂林电子科技大学人工智能学院,School of Artificial Intelligence, Guilin University of Electronic Technology);Jinsong Wu 另属智利大学电气工程系(Department of Electrical Engineering, University of Chile),通讯作者(wujs@ieee.org)。
研究问题与核心方法:
要问的是:因果注意力掩码正确,是否就保证前缀输出不依赖未来 token?一个异常低的 teacher-forced 验证损失,是架构进步还是泄漏?
先把“隐藏未来令牌泄漏”定义清楚:x 与 x' 共享前缀 x_{1:t}、后缀不同,若 f(x){1:t} 与 f(x'){1:t} 的差超过数值容差,就说明存在经注意力之外的辅助路径(池化、时序卷积、全序列 KV 聚合、路由、跨时间归一化)引入的后缀依赖。这与常规的训练/测试泄漏不是一回事——数据划分可以完全正确,模型内部的计算图仍然是非因果的。
审计工具是前缀不变性测试,判据 S=LeakScore=max_{i≤t}‖f_i(x)−f_i(x')‖∞,默认 ε=1e−5(float32);辅以平均绝对差、top-1 翻转率、受影响 token 率、归一化最大值与 JS 散度。判定只看 S 与 ε,其余指标用来描述扰动幅度。
光有“失败”不够,还要指出“在哪一层”。逐层算 L_max^(ℓ),FirstLeakLayer 取第一个超阈值的层,阈值 ε_ℓ=1.05·c_ℓ+1e−8,c_ℓ 是 24 对干净控制输入在同一层上的最大差——即先用可信检查点量出数值噪声的天花板,再往上留 5%。
证据分五层:6 对合成实现(池化 2 对、时序卷积、线性注意力、动态路由、跨时间归一化)→ 3 个公开模型(GPT-2、Qwen2.5-0.5B、Mamba-130M)做干净对照 → 故障注入验灵敏度 → 缓存与精度一致性 → CDR-AttnRes 真实检查点案例。每层都在同一套判据下跑,避免“合成上能测、真模型上乱报”。 73
关键结果:
  • 6 对合成实现:非因果版 LeakScore 从 0.0033 到 0.6625,因果修复版全部 0.0000(ε=1e−5);换前缀长度 8/16/32/64、三个随机种子、三档容差(1e−6/1e−5/1e−4),分类结论都不变(表 1–3、§5.4)。
  • 3 个公开模型在 float32、72 对输入(3 个前缀长度 × 3 个种子 × 8 对)上全部通过,最大与平均前缀 logit 差、top-1 翻转率都恰为 0(§6.2)。
  • 故障注入(α=0.01/0.05/0.10)下每个模型 72 对全部失败,通过率从 1.0 掉到 0.0,受影响 token 率 ≥0.993;Qwen 的最大差随 α 近似线性 1.6e−3→7.9e−3→1.6e−2,最小注入强度 α=0.01 就已经过不了二值判据(表 4)。
  • 精度会改写容差的可比性:cache 一致性测试里 fp32 的 P95 最大差为 GPT-2 4.5e−4、Qwen 3.9e−5,fp16 升到 0.25 / 0.0476,bf16 到 2.0 / 0.3703;GPT-2 bf16 的最大差到 4.0,32 步里有 1 步 top-1 不同(表 5)。
  • CDR 案例:24 层基线验证损失 3.5958,pre-fix CDR-last 24L 为 1.4259;同一检查点 LeakScore 34.22、top-1 翻转率 95.1%、FirstLeakLayer=0、末层差 16.96;自由生成时参考困惑度 700.5,对照组在 16.8–19.8 之间(表 7、表 8、表 10)。
  • 九个核心检查点上验证损失与 LeakScore 的 Pearson r=−0.868;但只取四个泄漏检查点时 r=−0.559、p=0.441,作者自己写“不能读成剂量-反应”(§7.7)。
  • 两个独立训练的 12 层因果修复:LeakScore 0.0、无泄漏层、验证损失 3.6766/3.6731、参考困惑度 15.3/18.1,回到对照量级,原来那截“优势”随之消失(表 9)。 73
证据与局限:原文自陈:前缀不变性只是“必要的实用检查”,不是因果性的形式证明;六个实现、五个模块族不穷尽 SSM/MoE/混合架构;合成实验是受控行为审计,不是任务级基准;CDR 是自家架构探索里的单一案例,未报告 24 层修复检查点,修复也不能隔离实现改动的每一个效应。我判断:最能直接用的是一个对照——同一检查点上验证损失降 60%(3.5958→1.4259),top-1 翻转率却达 95.1%,这把“低 loss 不等于因果正确”变成了可测的量;但外部效度有限,所有真实案例都来自 63.8M/65.4M(12 层)与 101.5M/104.7M(24 层)的小模型、OpenWebText、两卡两万步,大模型上泄漏是否同样表现为“loss 大降”未验证。 73
复现:原文未给仓库 URL,但列了补充材料清单(审计与生成代码、合成与公开模型结果、固定 prompt 集、原始续写、检查点-实现映射),检查点因存储限制未提供。关键配置:OpenWebText、GPT-2 tokenizer(50257 补到 50304)、block 512、AdamW β=(0.9,0.95)、weight decay 0.1、梯度裁剪 1.0、lr 3e−4 余弦退火到 3e−5、warmup 1,000、20,000 步、有效 batch 64(每卡 4 × 梯度累积 16 / 2 卡 = 每卡 8)、bf16、种子 1337。
与目标研究线的关系:属 B(轨迹学习与自进化),更准确说是给所有“序列级聚合”模块做体检。连接点很直接:轨迹学习里常见的做法是把整条轨迹的隐状态池化成一个摘要,用于价值估计、路由或记忆检索;一旦这个摘要被广播回前缀位置,离线指标就会虚高,而在线执行退化——与本文 CDR 的机制同构(全序列摘要 → 低秩修正 → 广播到所有位置)。可搬的是三步:先在自己模型上跑前缀不变性(换后缀、比前缀 logits),再用 FirstLeakLayer 定位到具体层,最后用一次独立训练的因果修复确认“增益是否消失”。成立条件:容差必须按你的精度与运行路径重新标定——bf16 下干净模型的路径差可到 4.0,这时还拿 ε=1e−5 判定,会把正常实现判成泄漏。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
上方两条输入:左边 x 由前缀 p=x_{1:t}(蓝框)与后缀 s(红框)拼成,右边 x' 用同一前缀 p 但换成 s'(s≠s')。两路分别送进同一个模型 f(中间标注 shared weights,共享权重、各自前向),只取前缀输出 f(x){1:t} 与 f(x'){1:t}。下方大框写明比较方式:只比前缀 logits,S=LeakScore=max_{j≤t}‖f_j(x)−f_j(x')‖∞;再下一行给判定:S>ε 判 fail、S≤ε 判 pass,末尾注明结论只适用于被测输入与执行条件。图内无量纲坐标轴,全部是流程符号与一个取最大值的公式。(arXiv:2610.31522)
站内摘要出入:摘要写“经因果修复后消除泄漏”并称“证明教师强制低损失需结合因果检查”;原文只对 12 层做了两个独立训练的修复(明确“we do not report a repaired 24-layer checkpoint”),且通篇把结论定位为证据与示例(illustrate),不是证明(§7.6、§8.2)。

74. 直接优化 pass@k 的剪枝:中等 k 高约 3 点,k=16 被 RepExp 反超 · arXiv:2610.31667 · 值得扫读

Direct Pass@k Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning · arXiv:2610.31667 · 值得扫读
作者与机构:Mahdi Salmani、Adel Javanmard、Devansh Gupta、Meisam Razaviyayn(均 University of Southern California,邮箱域 usc.edu)。
研究问题与核心方法:
要问的是:测试时只让 k 条部分推理继续跑,怎么选才能最大化“至少一条正确”(pass@k),而不是在“选高分”与“选多样”之间二选一?
设定:每题采样 N 条 rollout,只看前 T 个 token 的前缀,编码成隐状态向量的指数滑动平均 h_i(rate 1e−3);保留 k 条跑满 B,其余丢弃;完成后的正确性由任务验证器给 ±1。这里的实体层级要分清:题、rollout、保留子集三件事不是一回事,N 是每题生成的候选数,k 是保留数。
目标写成 max_{|S|=k} P(Σ_{i∈S}1{C_i=+1}≥1),即“保留池的 pass@k”。难点在于条件下各 rollout 的结果不独立——前缀相似的会一起对、一起错,所以这个概率依赖联合分布。
用潜高斯模型刻画相关性:Z=Q_θ(H)+Hᵀf+m,Cov(Z_i,Z_j|H)=h_iᵀh_j,f~N(0,I)、m~N(0,I)。似然对 f 求期望没有闭式,于是对 h_iᵀf 做二阶展开得到闭式代理,并证明代理是子模的,用贪心近似求解(§3.1–3.2)。
两个工程性质决定了它能用:潜模型只训一次、与 k 无关;一次贪心产生嵌套子集,所以 k 可以在推理时在线挑,不用重训。基线是 Linear Probe(纯利用,按 wᵀh_i 取前 k)与 RepExp(纯探索,按 h_iᵀ(τI+Σh_jh_jᵀ)^{-1}h_i 贪心取最不被解释的,τ=1)。
评测:8 个开源推理模型(0.6B–8B 两档),每模型约 600 题,8 折交叉验证 × 20 次不同划分(=160 次训练/评测回合;每道题在每轮里恰好被评一次,评它的那次训练不含这道题),N=128、T=4,000、B=32,768,k∈{1,2,4,8,16};正确答案用 Qwen3-32B 判等价。 74
关键结果:
  • DeepSeek-R1-Distill-Qwen-1.5B 在 k=4:PKTP 52.9%,Linear Probe 49.9%、RepExp 49.8%、Random 49.5%——比两个基线各高约 3 个点(表 1;正文写 3.0 与 3.2,按表内四舍五入值复算是 3.0 与 3.1)。
  • Qwen3-0.6B 上 k≥2 时对两个基线都领先 2 个点以上:k=2 为 36.3% 对 33.8%/33.5%,k=4 为 47.2% 对 44.3%/45.0%(表 1)。
  • 优势不是全 k 的:Qwen3-1.7B 在 k=1 时 PKTP 39.3% 低于 Random 39.5%、更低于 Linear Probe 40.7%;k=16 时 81.7% 低于 RepExp 82.2%;DeepSeek-R1-Distill-Qwen-1.5B 在 k=16 是 71.7% 对 72.6%(表 1)。
  • 两个基线的偏差方向可复现:Linear Probe 在 k=1 强(Qwen3-8B 49.2% 对 Random 46.9%),随 k 增大趋近甚至低于 Random(Qwen3-0.6B k=4 为 44.3% 对 45.4%);RepExp 在 k=1 等于 Random(首个随机),中等 k 有时更差(OpenMath-Nemotron-1.5B k=2 为 57.9% 对 59.3%),k=16 往往最好(Qwen3-1.7B 82.2% 对 81.0%)(表 1、图 3)。
  • 截断点越晚越好:Qwen3-1.7B 上 PKTP 的 pass@4 从 T=2,000 的 63.5% 升到 T=8,000 的 65.9%,DeepSeek-R1-Distill-Qwen-7B 从 57.4% 到 61.7%;同期 Linear Probe 在 Qwen3-1.7B 上从 64.2% 掉到 62.3%、落到 Random 之下(图 6)。
  • 池子够大才领先:Qwen3-1.7B 上 PKTP 在每个 N(32–128)都最好;DeepSeek-R1-Distill-Qwen-7B 上要到 N=80 才反超,其 Linear Probe 随 N 从 58.1% 掉到 56.4%、始终低于 Random(图 7)。 74
证据与局限:原文未单列局限章节,结论段只提“更好的前缀表示会直接增强本方法”。我判断:证据结构扎实——8 个模型 × 8 折 × 20 次重复,标准误都报了(表 1 括号内 0.17–0.35 量级),比单次跑的实验可信;但增益量级小,k=4 上 2–3 个点,且 k=1 与 k=16 都有明确反例,说明“直接优化 pass@k”主要在中 k 区间有效。另一个隐忧是表示:EMA rate 1e−3 相当于对最近约 1,000 个 token 取平均,作者把大 k 处与 RepExp 收敛归因于“前缀表示里的正确性信号太弱”——这等于承认方法的上限由表示决定,而表示不是本文的贡献。 74
复现:原文未提供代码或数据链接。关键配置:N=128、T=4,000、B=32,768、temperature 0.8、top-p 0.95、8 折 × 20 次重复、RepExp τ=1、EMA rate 1e−3;判分用 Qwen3-32B 判等价;剪枝前的题目过滤会移除“128 次采样全对或全错”的问题。
与目标研究线的关系:属 B(轨迹学习与自进化),具体落在“测试时保留哪几条轨迹继续算”这一环。连接点在于它把“轨迹冗余”写成了可优化的量:前缀相似 → 结果相关(Cov=h_iᵀh_j)→ 保留集要覆盖不同结果;这正好对应轨迹训练里最贵的两件事——采样与判分,也解释了为什么“按分数取 top-k”会在 k 变大时退化成随机。可搬的做法是用协方差刻画冗余、用子模贪心得到嵌套子集,从而在不重训的情况下在线改 k。成立条件:每题必须有可判对错的验证器(数学、代码可以,开放式生成不行),且探针要在目标任务分布上重训;前缀表示若拿不到正确性信号,大 k 时会退回 RepExp 的行为。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
八个面板排成两行四列,每个面板一个模型(Qwen3-0.6B、Qwen3-1.7B、OpenMath-Nemotron-1.5B、DeepSeek-R1-Distill-Qwen-1.5B;下排 Qwen3-8B、OpenMath-Nemotron-7B、DeepSeek-R1-Distill-Qwen-7B、Skywork-OR1-Math-7B)。横轴是保留条数 k(1、2、4、8、16,对数间距),纵轴是相对 Random 的 pass@k 增益(百分点),0 处画一条水平基线,每条曲线带一个标准误的阴影带。四条线:Random 恒为 0 的灰线、Linear Probe(蓝方块,随 k 单调下滑,几个模型在 k=16 落到 0 以下)、RepExp(粉三角,U 形,中等 k 常为负、k=16 反弹)、PKTP(棕圆点,中等 k 最高,k=16 在 Qwen3-1.7B 与 DeepSeek-1.5B 上被 RepExp 反超)。(arXiv:2610.31667)
站内摘要出入:摘要称“在 8 个开放权重推理模型上优于现有质量型与多样性型剪枝策略”;原文表 1 显示这只在中等 k 稳定成立——Qwen3-1.7B 在 k=1 时 PKTP 39.3% 低于 Linear Probe 40.7%,k=16 时 81.7% 低于 RepExp 82.2%,DeepSeek-R1-Distill-Qwen-1.5B 在 k=16 也低于 RepExp(71.7% 对 72.6%),正文亦承认“大 k 时 PKTP 与 RepExp 接近”。

十二、检索、上下文与语料

八篇里三篇值得先看。
分层 RAG 的控制器被编译成两次前向:延迟降 35–41%,动作序列与串行贪心 84–89% 完全一致,代价是那 11–16% 不一致的样本。
斯洛伐克语语料的智能体审计是本期少见的负结果:预算 300 次检查,三次运行产出 2/4/3 条发现,但最好的静态基线每美元验出更多条。
APA 只在会复用的偏好上提问:用 27.6% 的提问量拿到 84.2% 的效用。

75. 自奖励论证让翻转率 14.3%→6.6%,MORABLES 准确率反跌 3.1 点 · arXiv:2610.30349 · 值得扫读

Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable · arXiv:2610.30349 · 值得扫读
作者与机构:Marius De Kuthy Meurers(Google DeepMind);共同作者 Aaron Parisi、Bernd Bohnet,均属 Google DeepMind,三人的邮箱在首页同列为通讯地址。无其他合作单位。
研究问题与核心方法:
要问的是:把"论证质量"当作奖励去训练模型,到底提升了道德判断,还是只训练出了一种更爱下判决的说话方式?
训练材料不是在训练时现造的合成困境(合成困境只出现在后面 Synthetic 这个消融里),而是从 PG19 语料里四部经典小说抽出的人际困境。抽取用 Gemma-4 31B(30.7B 参数),每条困境同时形式化为情境前提 P 与两条义务 D1、D2 的布尔约束,再用 Z3 求解器验三条判据:P∧D1 可满足、P∧D2 可满足、P∧D1∧D2 不可满足。185 条候选里 156 条通过,每条再配 5 个伦理框架当透镜,得到 780 条训练 prompt。
策略从指令微调的 Gemma-4 E4B 起步(4.5B 有效参数、8B 总参数,文中简称 4B)。每条 prompt 采 8 个完成,模型自己当判官,按 Wachsmuth 的 15 维论证质量分类法成对比较,但只输出逻辑、修辞、辩证、总体四个偏好;总体偏好就是奖励。为压位置偏差,组内做完整循环赛:C(8,2)=28 对、每对两种呈现顺序,共 56 次判断,反转顺序后偏好翻转的记为平局。
平局使 Bradley–Terry 不够用,作者改用带平局参数 ν 的 Rao–Kupper 偏好模型估潜在强度,优势按 RLOO(留一均值)算而不除以组内标准差,另加组内长度 z 分数惩罚(λ_len=0.30)。梯度只落在可见答案 token 上,思考块被 mask。整套跑在 Tunix 上,32 张加速卡、FSDP 16×TP 2,2 个 epoch,峰值学习率 1e-5 余弦退火到 1e-6,KL 系数 0.02,单次训练约 24 小时。
评测分两层:一致性看 MoralChoice 上反转选项顺序后的判定翻转率;有效性看 ELEPHANT 的谄媚、框架接受度与 MORABLES 的寓言道德准确率,后两项不需要判官。另有两个消融各拆掉一个设计:Unmasked 让梯度也进思考块,Synthetic 把文学困境换成合成困境。75
关键结果:
  • 在 IBM-ArgQ-30k 的 15,000 个人类偏好对上,4B 判官与 31B 判官的 resolved accuracy 分别为 78.5% 与 80.4%,人类偏好最强处(Δ>0.75)升到 93.3% 与 95.0%,近持平处(Δ≤0.25)只有 55.0% 与 57.1%(§5、图 1)。
  • 模型规模主要改善的是重排一致性:31B 的呈现翻转率从近持平处的 16.6% 降到 2.6%,4B 从 35.1% 只降到 22.7%;弃答率由 33.5% 降到 10.7%(§5、图 1)。
  • 策略学到的是一种语域:must/should 类必然情态升 1.01 SD(扣掉长度后仍有 0.26 SD),从属结构降 0.72 SD,最大依存深度在控制句长后仍降 0.18 SD(95% CI [−0.23,−0.13]);86% 的特征在五个伦理框架下保持同一方向,框架本身只解释最多 15% 的方差(§6.1、图 3)。
  • 一致性确实改善:MoralChoice 高歧义场景的翻转率从 14.3% 降到 6.6%,同时"识别出歧义"的比例从 16.0% 升到 19.1%(§6.2、图 5)。
  • 有效性没有跟上:ELEPHANT 上道德谄媚 45.3%→44.0%(基本持平),框架接受度 5.2%→7.5%,MORABLES 五选一准确率 56.5%→53.4%(−3.1 点,95% CI [−4.8,−1.5])(§6.2、图 5)。
  • 两个消融都保住了翻转收益(+0.7 点、95% CI [−1.3,+2.8];+1.0 点,[−0.9,+3.1]),但谄媚都比主模型更高(+3.7 点 [+1.2,+5.9];+4.6 点 [+2.6,+6.9]);合成困境复现了 69% 的显著特征变化,中位幅度 0.92(§6.3、图 6)。75
证据与局限:原文自陈:奖励只有一个设计(策略自判、权重共享),没有跑固定判官的对照,因此无法区分"自我评判"与"成对论证奖励"各自的作用;判官只在人类写的论证上验证过,没有人类评价策略自己写的论证,核心结论靠三个不需要判官的口径(翻转率、谄媚、MORABLES 准确率);只有一个模型规模、每个配置只跑一次,置信区间反映的是困境与基准条目的变异而非训练随机性;Z3 只验证"冲突成立",无法表达一条义务重于另一条。我判断:证据强度中等偏上——判官验证的样本量(15,000 对)和分层做法是这篇最硬的部分,但单 seed、单规模意味着"消融也复现"只能算方向性证据,作者自己也承认 CI 不含训练方差;把 4B 与 31B 的差异解释成"容量限制"属于推测,原文没有做容量控制实验。75
复现:原文未提供本工作的代码或数据链接;训练框架为 Tunix(https://github.com/google/tunix),模型不发布。关键配置见表 4:学习率 1e-5 余弦退到 1e-6、19% warmup、PPO clip 0.2、KL 0.02、batch 32 组×8 完成、序列 1,024 prompt + 3,072 生成 token。
与目标研究线的关系:属 B(轨迹学习与自进化),也直接服务 A 的判官口径。可搬走的是两条:一是判官验证的做法——按人类偏好强度 Δ 分档报 resolved accuracy 与弃答率,把"翻转"和"显式平局"分开统计;二是把"一致性"与"有效性"拆成两套指标,避免用重排翻转率当道德质量的代理。这套做法在你用成对 LLM 判官给主观目标打分时成立;如果你的奖励有规则可验证(代码、检索命中),这套拆分的必要性会下降。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
横轴是 GRPO(第 48 步)相对 Base 的百分点变化,纵轴按三个基准分三组共 8 行:MoralChoice 的高歧义翻转、歧义识别、低歧义翻转,ELEPHANT 的谄媚、验证、间接性、框架接受度,MORABLES 的准确率。每行左侧用箭头加数字给出 Base→GRPO 的原始值,例如高歧义翻转 14.3→6.6、间接性 25.5→6.2、准确率 56.5→53.4;零线为竖实线,蓝色三角表示 GRPO 改善、灰色圆点表示持平、红色倒三角表示变差,黑色叉号是 4 条定向示例的上下文学习对照,深蓝方块是同一差值由冻结的 31B 判官重打分的结果,空心表示区间含零(arXiv:2610.30349)。

76. 引用检测 F1 升到 0.841,不可恢复引用的正确弃答 31.0%→92.4% · arXiv:2610.30355 · 值得扫读

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution · arXiv:2610.30355 · 值得扫读
作者与机构:Chenyi Tong(University of Wisconsin–Madison);Ping Nie(University of Waterloo);Yu Zhang(Texas A&M University),通讯邮箱为 yuzhang@tamu.edu。三校合作,无企业单位。
研究问题与核心方法:
要问的是:一条引用"是错的"和"它原本指向哪篇真实文献",能不能分成两个判断,并在找不到唯一来源时正当弃答?
作者先在 CiteAudit 的真实测试集(3,356 条引用,Real/Fake 标签齐全)上,人工给 Fake 子集补两类标注:能否追到唯一真实作品。能追到的标 Recoverable 并给出核对过的修正引用,否则标 Unrecoverable、修正项记 None。人工复核与输入过滤后留下 423 条:252 条可恢复、171 条不可恢复。可恢复的里面 185 条(73%)只是作者写错,标题仍对得上。
框架叫 CiteAnchor,三模块共享同一套检索证据。源发现模块抽出标题、作者、标识符、会议与年份,按论文/图书/网页判定该用哪些检索工具;先查本轮缓存与离线 ACL Anthology,再用 DOI、arXiv ID、URL 直查 Crossref、OpenAlex、Semantic Scholar、Europe PMC、Google Books、DataCite,都没有才落到 Google 与 Google Scholar(经 SerpApi)。
证据核验模块逐字段比对,输出匹配、冲突、缺失三态。年份与会话差异可以来自预印本与正式版,不算错误;规则能定的走确定性检查,含糊的才交 LLM。判决与源身份在这一步分开:字段冲突足以判 Fake,但不妨碍用标题把源找回来。
源解析模块把检索到的记录按"同一作品"聚合,只有唯一候选被支持时才返回修正引用,否则返回 None。没有候选时最多追加一次定向检索。评测要求端到端正确:先判 Fake,再给出正确修正或正确弃答;把 Fake 判成 Real 在该子集上直接记失败。76
关键结果:
  • 换同一个 GPT-5.6 Luna 后端,检测 F1 从 CiteAudit 的 0.762 升到 0.841(精确率 0.875 对 0.751,召回 0.809 对 0.773)(表 2)。
  • 换开源 OpenResearcher-30B-A3B 增益更大:F1 从 0.416 到 0.784,误报从 379 降到 128,漏报从 245 降到 83(表 2)。
  • 源解析的关键不是多回收,而是敢弃答:Luna 后端下 CiteAnchor 对可恢复引用的覆盖率 65.9% 低于联网搜索的 85.3%,但提出的修正更准(95.2% 对 90.2%),对不可恢复引用的识别率 92.4% 对 31.0%,端到端成功率 74.7% 对 58.4%(+16.3 点)(表 3)。
  • 成本同时下降:3,356 条引用上 SerpApi 调用在 GPT-5.6 Luna 后端从 3,204 降到 1,039(−67.6%)、在 OpenResearcher-30B-A3B 后端从 4,071 降到 1,066(−73.8%);Luna 后端单次运行的 LLM 加检索估算成本从约 36 美元降到约 12 美元,两后端平均少用 70.7% 的商业检索调用,按 3,356 条计每次运行省约 25 美元检索额度(§5.2、图 2)。
  • 消融里拆掉分阶段判断(w/o Chain)伤得最重:F1 0.643、成功率 59.3%;拆掉检索类型适配为 0.761 与 66.9%;拆掉结构化书目 API 为 0.773 与 53.2%,说明"能不能判错"和"能不能找回源"依赖的证据不同(表 4)。
  • 两个案例显示网页复述不等于存在:标题真、10 个作者里 7 个不在原文 13 人名单里的引用,三个基线都判真,CiteAnchor 判 Fake 并找回源;arXiv ID 指向另一篇论文的引用,CiteAnchor 拒绝匹配并返回 None(§6.2、图 3)。76
证据与局限:原文自陈:CiteResolve 以论文引用为主(388/423),图书与网页样本太少,结论对论文最可靠;系统只看引用条目,不判断被引文献是否支持正文论断;评测反映实验时的数据库状态,同一条引用可能随记录增补变得可解或不可解,"不可恢复"只表示按其判据找不到唯一来源。我判断:检测部分的对照是干净的(同后端、同 prompt、只换流程),F1 的差值可信;解析部分要小心,252/171 的标注由作者自己做、没有第二标注者的一致性数字,而且"恢复"本身依赖人工规则(标题近精确匹配 + 标识符),可恢复率的分母因此带主观性;开源后端 0.416→0.784 的大跨度更可能来自原流程在该后端上几乎跑不动,而不是框架普适。76
复现:代码 https://github.com/oldwizard7/CiteANCHOR_code 。数据基于 CiteAudit 发布集,CiteResolve 的 423 条标注随代码发布。关键配置:两后端共用同一套检索规则与核验阈值,解析阶段最多追加一次定向检索,模糊字段由 GPT-6 Sol 判官裁定(附录 B–C)。
与目标研究线的关系:属 A(长程任务的训练与评估),具体落在"证据核验 + 正当弃答"这一评测口径上。可直接搬的是指标设计:把"检出错误"与"能否唯一复原"拆开算,端到端成功必须同时满足判错与修正正确,弃答算一种正确答案而不是失败。这套口径在你需要模型对检索到的证据下判断、并且"查不到"是常见结局时成立;如果任务里不存在唯一正确答案(开放式写作评估),弃答维度就没有意义。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
三联流程图,从左到右是源发现、证据核验、源解析。左栏把一条示例引用(Robin Jia et al. 2019, "Right for the Right Reasons", ACL)按论文/图书/网页三型路由,依次尝试 ACL Anthology 与 arXiv/DOI 直查、Crossref/OpenAlex/Semantic Scholar/DataCite 等结构化源,仍未命中才用 Google 与 Scholar;中栏把"被引字段"与"检索记录"逐行对齐,标题打勾、作者打红叉、会议打问号,右侧图例给出匹配/冲突/缺失三态;右栏把 OpenAlex 与 IJCAI 两条记录聚成候选作品,标题匹配与作者冲突并列展示,最后分叉为"回收源"与"弃答 None"(arXiv:2610.30355)。

77. 分层 RAG 控制编译成两次前向:延迟降 35–41%,动作序列 84–89% 全等 · arXiv:2610.30664 · 精读

Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG · arXiv:2610.30664 · 精读
作者与机构:Zehao Lin(MemTensor (Shanghai) Technology Co., Ltd.);合作者来自 China Haisum Engineering Co., Ltd.、The Hong Kong University of Science and Technology (Guangzhou)、Shanghai Jiao Tong University,共 11 人,作者顺序按首页列出。通讯邮箱分散在 memtensor.cn、sjtu.edu.cn、haisum.com 与 connect.hkust-gz.edu.cn。
研究问题与核心方法:
要问的是:一个有界深度的语法约束 LLM 控制器,能不能不逐个 token 解码,而用一次前缀树前向精确复现串行贪心策略?
设定是分层 RAG:文档树每到一个前沿,模型要在 k 个候选 section 里选 b 个,语法强制输出长度 n=min(b,k) 的 JSON 数组。串行受限解码每吐一个 token 付一次依赖前向,n=3 时临界路径 D_serial=n+m_syn≈9;理想化的分块引擎把强制片段快进掉,也还要每个标签槽一次前向。
关键观察是可达状态很少。第一个标签 a1 定下后,贪心控制器只可能追问 k−1 种第二标签,第三标签随之确定,因此可达前缀正好 N(k,n)=Σ_{d=0}^{n−2}(k−1)!/(k−1−d)! 个,n=3 时就是 k 个:主干 (a1) 加分支 (a1,c)。
于是执行变成两步:一次根预填充拿到槽 1 的 logits 和共享 KV 缓存,再把 N(k,n) 条前缀续写拼成一次 tree-causal probe,用块因果掩码让每条前缀只看见缓存 prompt 与自己的祖先,位置编号按串行顺序给。临界路径变成 2 次前向。
正确性靠两条命题。前缀状态等价(引理 1):同一前缀在两种执行下 token id、位置、可见注意力集合、参数都相同,则每层隐状态相同,logits 相同;由此策略等价(定理 1):掩码、候选顺序、并列取首个的规则一致时,编译执行与串行贪心给出同一动作序列。推论 1 给出边距判据:某槽的决策边距超过 2ε_max(跨图 logit 偏差上界)时两边必然一致。
在此之上还能算集合 MAP:probe 直接给出按顺序边缘化的集合后验,用未展开前缀的概率作上下界,直到下界超过其余候选的上界即认证最优集合,证书在 4 个 split 的 527/527 个非平凡轮次里都在前 24 对(最多 380 对)内触发。77
关键结果:
  • 在 QASPER 的四个 split 上,编译控制与串行控制动作序列完全一致的比例为 84–89%(A 80/90、B 101/120、D 79/90、E 52/60),3B 模型为 87%;输出 token 数为 0(表 1)。
  • 每题平均控制延迟:A 0.62→0.40 s、B 0.52→0.32 s、D 0.56→0.36 s、E 0.63→0.37 s,降 35–41%;3B 上 0.53→0.28 s,降 47%(§4.1、表 1)。
  • 分歧不是策略差异而是浮点近持平:39 个分歧轮次的槽边距全部 ≤2.5,落在 2ε 翻转窗口内;fp32 重放把 logit 偏差压下 20 倍以上(均值 0.05,p95 0.12),split A 恢复到 89/90 全等(§4.1)。
  • 与实际部署的分块引擎(每槽一次前向)同轮对比,三档依次为串行/分块/编译:D 上 0.58/0.37/0.35 s、E 上 0.64/0.40/0.37 s,编译对分块只快 5.4% 与 7.5%(原文概括为 6–7%),两个 split 的 bootstrap 区间都不含零(§4.1;这一轮四臂交错的数与表 1 的 0.56→0.36 分属两次运行)。
  • 检索质量基本持平:四个 split、三个预算共 1,080 个格子上,compiled−serial 为 −0.6 点(95% CI [−1.7,+0.5]);两个新 split 上为 −2.4 点([−4.9,−0.4]),作者归因于 bf16 近持平(§4.2)。
  • 边距闸门能买到完全一致但很贵:θ=2 时 D+E 上 150/150 全等、60% 的轮次回退串行,代价是 0.70–0.71 s,比纯串行还慢(§4.2)。
  • 规模扫描给出边界:k=20、n=3 时比串行快 1.3–2.8×(8k token 处 2.8×);n=4 时 probe 涨到 362 行、3,195 个位置,短 prompt 反而只有 0.4–0.6×,永远追不上分块引擎(§4.4、图 2)。77
证据与局限:原文自陈:probe 宽度随贪心视野阶乘增长,n>3 之后不划算;bf16 下近持平分歧无法消除,只有 fp32 才能收窄到 89/90;单一模型家族(Qwen2.5-7B/3B)与两类加速卡,跨后端的串行策略自身一致性也只有 67–73%。我判断:这是本批里证据链最完整的一篇——有定理、有代码哈希清单、有一个事前注册的 split E,且作者主动报了"对分块引擎只快 6–7%"这个对己不利的对照。要注意两点:并行宽度换来的加速取决于 KV 缓存重读成本,MetaX 上 8k prompt 的 2.8× 在 H800 上掉到 1.4–2.6×,说明数字强依赖硬件与 prompt 长度;另外"策略等价"在浮点下必然打折,实际部署得到的是"近似等价 + 可检测的边距"。77
复现:原文未提供代码或数据链接,仅称"编译器与基准 harness 将发布"。关键配置:Qwen2.5-7B/3B-Instruct、bf16、eager attention、单张 MetaX C500 离线运行,延迟按整条遍历的每题墙钟时间计,文档簇 bootstrap 10k 次、种子 20260916;分块引擎对照在 D、E 上以同一代码哈希交错运行。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"长程执行中的状态与控制"这一格。可搬走的是判据本身:把控制步骤的可达状态枚举出来编译成一次并行前向,用"前缀状态等价 + 边距"代替逐 token 解码,从而把 agent 循环里最贵的串行环节压成常数深度。它在动作空间有限、语法固定、贪心解码时成立;一旦控制器要采样、动作数超过 3 个槽位或语法自由,宽度会阶乘爆炸,这套方法就不适用。对 B 线的启发是:技能库/工具调用的编排层也可以这样编译,前提是动作集合可枚举。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
三面板对照图。(a) 串行语法解码:9 次依赖前向逐个吐出 JSON 的 [ " A " , …,左侧标注"临界路径正比于输出长度"。(b) 编译执行:共享 prompt KV 只缓存一份,先做一次 root prefill 定下 trunk 的 A,再把 A/B/C/D 四条分支拼成一次 block-causal probe,下方灰绿网格示意每条分支只看 prompt 与自己祖先的掩码结构,右侧标出"1 次预填充 + 1 次 probe"。(c) 实测栏:fresh split D、7B 的每题延迟,串行 0.56 s、编译 0.36 s(−36%),虚线给出 unary 下界 0.29 s,并列出已验证项——输出 token 0、协议失败 0、fp32 重放的平均 logit 偏差 0.05(arXiv:2610.30664)。

78. 合成 0.95 小时微调降 MER 1.88 点,GRPO 只再降 0.03 点 · arXiv:2610.30860 · 邻近跟踪

Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark · arXiv:2610.30860 · 邻近跟踪
作者与机构:Firoj Paudel(Wiseyak Inc.,邮箱 firoj.paudel@wiseyak.com),单一作者、单一机构。
研究问题与核心方法:
要问的是:只用合成的尼泊尔语—英语混说语音做适配,ASR 能不能迁移到真实播客里的自发口语;在此之上,序列级强化学习还能再挤出多少?
真实侧的数据是这篇的真正贡献。作者从 28 期公开尼泊尔语播客里切出 13,277 段,逐段对着 16 kHz PCM 由两名双语标注员核对:隔离 233 段有背景循环或音乐的,清掉 161 处"把尼泊尔语译成英语"的机器翻译泄漏,修 819 处因说话人分离时间戳重叠造成的 token 重复,把 86 处数字改写为口语词,最终留下 13,044 段、15.45 小时。500 段独立双人复核的字符一致率为 98.4%。
切分按说话人严格隔离:开发集 2,830 段、3.55 小时、16 期、20 人;冻结测试集 10,214 段、11.90 小时、25 期、52 人;两集合计 72 名说话人、零重叠。13 期跨集合的节目按角色切:常驻主持人的轮次归开发集,嘉宾轮次归测试集。代价是开发集的切换密度更高(每人 2.65 个切换点对 2.11),作者把它写进了局限。
合成侧用 Gemini 3.8 Flash 按会话模板生成句内混说句,经词表与 5-gram 与真实参考做非泄漏过滤,再用两个声源合成:OmniVoice 的两个男声与 Gemini TTS 的四个音色。音频统一 16 kHz 单声道,加 300–3400 Hz 电话带通与 10–30 dB 噪声,最后用 whisper-large-v3-turbo 只在天城文范围内做回环筛查(CER≤0.20)。成品种 517 段、211 个模板、0.95 小时。
模型是 indic-transcribe-flex(1.22B,Canary-1B-v2 架构):32 层 FastConformer 编码器冻结,只训 24 层解码器与输出头,可训参数 410,455,024 个,占 33.60%。第一阶段 SFT:学习率 1e-5、有效 batch 8、1,000 步。第二阶段 GRPO:每组 8 个候选、温度 1.0、clip 0.2、KL 系数 0、500 步、峰值学习率 1e-6,奖励为 (1−MER)+0.5×(1−SCR)。78
关键结果:
  • 冻结测试集上,零样本基线 23.40% MER、35.89% SPER;仅用 0.95 小时合成语音做 SFT 后降到 21.52% 与 28.77%,即 −1.88 与 −7.12 个百分点(表 1、§5.1)。
  • 在 SFT 之上加 GRPO(联合奖励)只到 21.49% MER、28.70% SPER、6.36% 英文脚本混淆,相对 SFT 仅 −0.03、−0.07、−0.09 个百分点(表 1、§5.2)。
  • 这 0.03 点的 MER 差距只出现在 10,214 段里的 173 段(1.69%),其余 10,041 段逐字相同;173 段分散在 20 期节目、单期最多 25 段(§5.2)。
  • 脚本奖励项本身没有贡献:λ_scr=0 的 S3 与 λ_scr=0.5 的 S4 在开发集上完全相同(18.89% MER、25.53% SPER、5.24% SCR_en),并选中同一个第 50 步检查点(表 2、§5.3)。
  • 加 token 级脚本门控反而更差:开发集 MER 从 18.92% 升到 19.14%,SCR_en 从 5.35% 升到 5.75%,作者归因于在借词前缀上过早锁定文字系统(表 2、§5.3)。
  • 单语能力有得有失:尼泊尔语 BHASAANUVAD 上 MER 从 20.80% 降到 18.42%(仍有 −2.38 点净收益),英语 LibriSpeech 上 WER 3.33%→3.38%(区间含零),但 MER 4.21%→5.27%、SCR 0.59%→1.03%,是混说先验带来的天城文插入(表 3、§5.4)。78
证据与局限:原文自陈:GRPO 的增益远小于前人报告的 >40% 相对提升,原因是编码器冻结加合成提示上组内脚本方差近乎为零(超过 75% 的小 batch 组内脚本方差为 0),而且没有延长 SFT 的算力对照,无法完全排除"多走几步梯度"的解释;合成训练只有 517 段、两个男声;参考转写由 gemini-3.5-transcribe 起草再人工核对,可能残留偏差;开发集与测试集的切换密度不对称;没有多 seed,也没有跑 Whisper 之类的外部基线。我判断:语料与评测口径这部分证据强(13,044 段逐段人工核对、说话人零重叠、测试集先冻结再算 SHA-256、配对 bootstrap 加按节目聚类的块 bootstrap 双口径),而"方法有效性"这部分证据弱——真正起作用的是 0.95 小时合成 SFT,GRPO 的 173 段差异在绝对量上不足以支撑"序列级 RL 有用"的结论,作者自己也这么写。78
复现:代码 https://github.com/Firoj-Wise/nepali-english-codeswitch-asr ;数据 https://huggingface.co/datasets/SamaFiroz/nepali-english-codeswitch-podcasts (CC BY-NC-SA 4.0);底座 https://huggingface.co/bodhan-ai/indic-transcribe-flex 。关键配置:SFT 1e-5/1,000 步/batch 8,GRPO 1e-6/500 步/G=8/ε=0.2/β=0。
与目标研究线的关系:属 D(播客生成与节目级评估),连接点不是"生成"而是"节目级真实语音语料 + 转写评测口径"。它解决的问题是:真实播客的自发语音没人标、没法当基准,于是给出一套可复用的构造流程(逐段人工核对、说话人跨集合隔离、冻结测试集)和三个节目级指标——MER 把英文按词、尼泊尔语按字符算错,SPER 只看切换点 ±1 token 窗口,SCR 只在替换操作上统计跨文字系统错误。这套东西可以直接搬到播客线的两处:给合成节目做"真实语音对照"的参照集,或者给自家 TTS 节目算切换点附近的错误率。迁移前提是你有两名以上懂双语的标注员、能把说话人跨集合完全分开;如果节目里说话人反复出现又无法按角色切分,零重叠就做不到,指标会偏乐观。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 4
两面板柱状图,纵轴为错误率(%),越低越好,图例区分 S0 零样本基线(灰斜纹)、S1 合成 SFT(蓝点纹)、S4 GRPO 联合奖励(橙实心)。(a) 宏观转写错误:MER 23.40/21.52/21.49、WER 35.65/32.16/32.13、CER 20.65/19.11/19.08;(b) 混说保真:SPER 35.89/28.77/28.70,并在 S0 与 S4 之间画了括号标注 −7.19 个百分点(p<0.05),SCR_en 6.70/6.45/6.36,SCR_all 4.09/3.85/3.83;柱顶数字保留两位小数,可以直观看出 S1 到 S4 的差几乎看不见(arXiv:2610.30860)。
站内摘要出入:站内摘要写"通过合成 SFT 与 GRPO 降低混合错误率及切换点错误率",把两阶段写成并列贡献;原文的降幅几乎全部来自 SFT(−1.88 点 MER、−7.12 点 SPER),GRPO 只再降 0.03 点 MER、0.07 点 SPER,且脚本奖励项与 MER-only 完全等价。

79. 只在会复用的偏好上提问:APA 用 27.6% 的提问量拿到 84.2% 的收益 · arXiv:2610.31107 · 值得扫读

Learning What to Ask for Tomorrow: Active Preference Acquisition for Long-Term Personalized Web Agents · arXiv:2610.31107 · 值得扫读
作者与机构:Yiqi Wang(通讯,yiqi.wang.jennie@gmail.com);合作者 Zizhi Zeng、Jiaqi Zhang、Yiqun Duan、Mingkai Zheng、Taotao Cai。原文首页与致谢均未标注任何机构,brief 也未给,故此处不填。
研究问题与核心方法:
要问的是:一个长期服务的 web agent,该去问哪些"当前任务用不上、但以后会反复用到"的偏好?
作者的起点是一个反例。在酒店预订时座位偏好对当前任务毫无价值,所以当前任务的信息价值(VoI)不会去问;可等到第一次订机票时再问,单次收益又可能盖不住提问成本。命题 3.1 把这点写成结论:只按当前任务估值的准则,永远不会获取"每一次单独使用都抵不上成本、但累计复用划算"的偏好。
方法把这叫前瞻个性化价值(PPV):对每个缺失属性 m,用智能体自己的任务求解器在公开任务原型上算"知道 m 会改变多少效用",再按各任务族的预期复用次数 n̂_f 加权求和,得到 V̂(m)=Σ_f n̂_f·R(m,f)·I(m,f)。决策时扣掉提问成本与披露风险:S_t(m)=V̂(m)−λC_ask(m)−βC_risk(m),在每轮预算 B 下按分数选正项。
流程四步:缺口发现用 LLM 从画像与历史里提候选(每次最多 K=10 个);未来复用建模用同一骨干预测任务族分布;前瞻估值做反事实打分;预算化获取策略决定问、缓、还是跳过,答案写回持久画像供后续任务复用。
评测床叫 ActiveWebPref:5 个服务域、16 个任务族、每用户 27 个属性,40–60% 在 t=0 隐藏;每个用户有一条 20 任务的未来序列,主实验取前 T=10,视界缩放用嵌套前缀 T∈{1,3,5,10,20}。属性带稳定性、敏感度、归一化提问成本、相关任务族与影响等级,另设"看起来个人但永不影响效用"的干扰项。测试集 180 人(90 个 IID + 90 个未见偏好组合),每域 18/18/36 划分训练/开发/测试。所有 LLM 角色用 Qwen3-8B、温度 0、关闭思考,默认 B=0.5、λ=0.5、β=0.25。79
关键结果:
  • 主表上 APA 的净效用 6.755,最强基线"当前任务 VoI(公开信念版)"为 6.664,配对差 0.091(95% CI [0.019,0.174]),但 Holm 校正后 p=0.0615,未过 0.05(表 2、§6.1;区间是未校正的逐项 95% 区间,0.0615 是原始 p=0.0205 在 15 个主对比的 Holm 族里乘 3 后的值,两者口径不同)。
  • 穷举式提问拿到最高原始效用 7.263,但问了 13.472 个问题、成本 3.977,净效用掉到 4.918,低于"什么都不问"的 6.289(表 2)。
  • 在把每个用户的累计提问成本压到 APA 实际花费后,APA 仍胜过随机(ΔNU 0.521,Holm p=0.0020)、频率(0.355,p=0.0020)、LLM 重要性排序(0.567,p=0.0020)与仅按影响排序(0.072,p=0.0025)(表 2、§6.1)。
  • T=20 时,"预算可行且有价值"的初始缺失偏好里有 198/576(34.4%)属于必须靠累计复用才回本的类别;APA 获取了其中 80.3%,当前任务 VoI 只获取 5.1%(10/198),以净效用最大化为目标的上界 oracle(Oracle Future-VoI:可见隐藏答案与真实未来任务序列,用动态规划精确解出问哪些、何时问)也只获取 89/198(44.9%),因为它优化的是联合净效用而不是获取率(表 3、§6.2)。
  • 在这批用户上,APA 相对当前任务 VoI 的整段净效用优势 T=20 时为 0.263(Holm p=0.021),T=10 时为 0.148(p=0.074,不显著);从 T=1 到 T=20 的平均优势从 −0.011 升到 0.175,端点增长 0.186(95% CI [0.057,0.339],Holm p=0.0330)(表 4、图 5)。
  • 选择性提问的效率:默认设置下 APA 只花穷举式提问 27.6% 的提问量(3.717 对 13.472 个),就拿到穷举式相对"什么都不问"的累计任务效用(CTU,未扣提问与披露成本)增益的 84.2%——即 (7.109−6.289)/(7.263−6.289);换成扣成本的净效用,穷举式 4.918 反而低于不问的 6.289(§6.3、表 2)。
  • 消融里预测模块几乎没用:把学到的任务族权重换成均匀先验,净效用从 6.755 变 6.760,校正后不显著(表 5、§8)。79
证据与局限:原文自陈:用户是合成的、答案用结构化 ID 绑定文本,没有盲测人工评估、没有真实网站部署,也没有问句改写的鲁棒性实验;只有 Qwen3-8B 一个骨干、一个基准;学到的未来任务权重相对均匀先验没有可测增益,两种解释(基准的任务族太规整、8B 预测能力不足)都未验证;每轮预算 B=0.5 会把单次成本超过预算的属性直接排除,T=20 时因此漏掉 26 对本来可摊销的偏好。我判断:结论的强度分层很清楚——"当前任务估值会系统性错过可摊销偏好"这一条有命题与 34.4% 的实测支撑,可信;"APA 整体优于当前任务 VoI"这条在统计上没站住(Holm p=0.0615),只能算方向性证据。另外净效用的绝对值依赖 λ、β 的设定,换价格参数结论可能变,作者只做了有限扫描。79
复现:代码、数据与 prompt https://github.com/xiaoqi-7/Active-Preference-Acquisition 。关键配置:Qwen3-8B、温度 0、关闭思考;B=0.5、λ=0.5、β=0.25、T=10、K=10;统计用 2,000 次双侧中心化配对 bootstrap 加 Holm 校正。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"记忆与上下文"这一格:它不是问"记住什么",而是问"值得主动去获取什么"。可搬走的是那个判据——用任务族的预期复用次数给一次提问摊薄成本,把"现在没用"和"永远没用"分开;以及评测床的设计(隐藏画像 + 精确反事实效用,使"这一问值不值"可被直接测量)。它在智能体跨会话持久、提问有成本、任务族可枚举时成立;单次会话的助手或没有用户画像的场景用不上。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 5
四段式方法总览图。① 缺口发现:左侧用户说"要订会场附近的酒店",右侧候选偏好列出酒店预算、餐饮偏好、座位偏好,中间标注画像 P_t 与历史 H_t。② 未来复用建模:三根柱状图给出航班/酒店/餐厅订票的预测频次,公式 n̂_f=(T−t)P̂(f|H_t)。③ 前瞻估值:3×3 热力矩阵把座位偏好、酒店预算、餐饮偏好按任务族着色(越紫越高),右侧用横条排出估计价值 2.8、2.1、0.9。④ 预算化获取:天平两侧是提问成本与隐私风险,输出 ASK/DEFER/SKIP 三路,示例对话"靠窗还是过道?—靠窗",右下展示画像更新为 P_{t+1} 并在后续三个任务上打勾复用(arXiv:2610.31107)。
站内摘要出入:站内摘要说"在 20 个任务的基准测试中表现优于现有方法"。原文的基准是 180 名测试用户、每人 20 个未来任务,主实验只取前 10 个任务;而且与最强基线(当前任务 VoI 公开信念版)的整体净效用差 Holm 校正后 p=0.0615,未达显著,显著优势只出现在 T=20 且限于至少含一个可摊销偏好的 120 名用户子集。

80. 前向写入原生 n-gram 表:3.5 万次写入不崩,跨位置取用失败 · arXiv:2610.31125 · 邻近跟踪

Delta N-gram: Forward-Only Continual Writing into a Language Model’s Native N-gram Memory · arXiv:2610.31125 · 邻近跟踪
作者与机构:Hao Wu(Illinois Institute of Technology,邮箱 hwu71@hawk.illinoistech.edu),单一作者、单一机构。
研究问题与核心方法:
要问的是:把"边用边学"的写入成本从一次反向传播降到一次前向,同时保住"可清空回滚"和"能定位到行"这两个性质,可行吗?
思路是把预训练模型自带的哈希 n-gram 表当记忆。原表 T0 冻结,只往稀疏补丁 Δ 里写,模型读的是 T0+Δ。一个 4M 级的小 writer 离线训练,对每个"事件"(位置、哈希头对)从冻结隐状态里输出目标向量 v 与门控 β;同一块里落到同一行的多个事件先平均,再用作者称为 D1 的 delta 规则写成旧值与目标的凸组合。从线性注意力的角度看,这是一个键为 one-hot 哈希地址、状态从不重置、写入目标来自学习到的 fast-weight programmer 的 DeltaNet。
训练用预训练目标本身:文档切块,每块先用已写的记忆预测、再写进去,后面块的 loss 穿过整条写链反传。使用时不反传、不要优化器状态、不要标签。作者训练了两个 writer 对照:plain 只看 T0 编码证据(可与所有块并行、目标锚在证据上),delta 边读自己的记忆边编码(能连接先前写入的实体,代价是串行写入加反馈回路)。
主模型是 Qwen3.8-Flash-Next(48 层、512 个路由专家、每 token 激活 10 个),骨干、读出层与 T0 全冻结,只有 4,075,681 个参数的 writer 在训。4 张 H200、专家并行 4×数据并行 4,每次更新 12 条完整轨迹并回传整条写链,学习率 3e-4、梯度裁剪 1,α=1 的分支训到 99,997,072 个目标 token(4,172 次更新)。80
关键结果:
  • 2025 年下半年 64 个新闻事件(DEV64)上,100M token 检查点的"读自己文档的记忆 vs 读空记忆"收益为 0.068 nats/token,"读自己 vs 读别人的"为 0.024;插入 16 篇干扰文章后仍有 0.063 与 0.013(§6、图 2)。
  • 七任务链共 35,000 次写入(7 任务×5,000 例),两个 writer 在两套硬件栈上都没有数值失败;写入后各任务精度在剩余链条上的漂移只有 −0.26 个百分点(plain)与 −0.52(delta),对比之下 Adam 表更新是 −7.29 点(§7.1、§7.2)。
  • 小 k_i 漂移(头输入处)为 17.9% 与 17.5%,对比 Adam 表的 39.2%;但一般输入的 big-K 漂移是 32.8%,是前作 N-gram 分支的 1.6 倍(§7.3、§8)。
  • 漂移集中在少数热行:8 条每个样本都会写的格式 bigram 行,其补丁达到 ‖T0‖ 的 4.4–11.7 倍;把它们清零可去掉数学输入上 98% 以上的第 2 层漂移,同时也去掉了它们的 NLL 收益(§8.2)。
  • 代价是几乎学不到新任务:在这些训练时没见过的形态学任务上净获取为 −12/448,已写样例的召回只有 23–25%(§7.2、§7.4)。
  • 跨位置使用失败得很彻底:LoCoMo 上把整段对话写进记忆后,self、empty、donor 三种条件下的 F1 都是 0.44(表 8 的 F1 按 0–100 计,即 0.44%),模型对每个问题都输出同一句"No information available";同一骨干把整段对话放进上下文时 F1 为 56.79(表 8、§7.5)。
  • 0.6B 原型给出另一面:用问答目标训练时,第二次写入后仍保住 16/16 个事实(在线梯度写入同表只有 2–4 个),但换成改写问句就掉回空记忆水平(§6.1)。80
证据与局限:原文自陈:方法在两个需要"换位置使用已写内容"的长链任务上还不成立——七任务链净获取为负、只召回 23–25% 已写样例,LoCoMo 上所有记忆条件都拒答;writer 只走完了 MemT-1.0 配方的前半段(100M token 原始文本续写,无后期训练),而对方的后期训练阶段在其消融里带来约 10.69 点;热行没有相对预训练范数的预算,一般输入漂移是前作的 1.6 倍;算力只允许一个带原生 n-gram 表的模型,所有结果来自一个训练种子。我判断:证据的质量是"机制验证充分、效用验证不足"。稳定性、行级归因、可回滚这三点有 35,000 次写入与逐行探针支撑,可信;但"能不能用"这一层是负面结果,而作者自己的解释(原始文本续写只奖励同位置续写)尚未用实验确认——0.6B 原型的 16/16 是正面线索,却和主模型用的目标不同,不能直接外推。80
复现:代码 https://github.com/af-74413592/delta-ngram 。关键配置:Qwen3.8-Flash-Next、4×H200、EP4×DP4、AdamW lr 3e-4 无权重衰减、梯度裁剪 1、每次更新 12 条轨迹、α=1 训至 99,997,072 token(4,172 次更新);漂移度量取最后一层 prompt token 的 48 层残差流(10,240 维)与 LM head 输入(2,560 维)的相对 RMS。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"记忆与上下文"这一格:它给的是"运行期写入"的最便宜形态——一次前向、无标签、可回滚到原模型、每一处改动都能落到具体的行。可搬走的是那个行级预算视角:漂移不是整体指标,而是少数热行扛着,定位到行就能干预。它成立的条件很窄:写入与读取在同一位置(同 n-gram 上下文),任务形态是续写或文档内预测;一旦要让写下的内容被注意力搬到别的位置回答(问答、跨文档推理),这套写入路径目前不管用,LoCoMo 的 0.44 就是反例。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 6
两个并排折线图,标题为 Qwen3.8 原生 writer 的 DEV64 学习曲线,横轴是有效训练目标数(百万,20/40/60/80/100),纵轴均为 NLL 增益(nat/target)。左图是"相对空记忆的收益",四条线按 α=1/α=0.99 与 k=0/k=16 区分:α=1 的 k=0 从 0.037 升到 0.068,k=16 稳定在 0.059–0.063;右图是"相对 donor 记忆的优势",α=1 的 k=0 从 0.013 升到 0.025(80M 处 0.028 为峰值),k=16 只有 0.009–0.017,说明插入 16 篇干扰后文档特异性明显被稀释;每点带误差棒(arXiv:2610.31125)。
站内摘要出入:站内摘要称该方法"验证了……漂移控制优势"。原文的结论相反:一般输入的 big-K 漂移是 32.8%,为前作表更新分支的 1.6 倍,作者把它列为待解决的第二个问题;能降下来的只有小 k_i 漂移(17.9%/17.5% 对 39.2%)。

81. 真值标到证据跨度上,R-Precision 从 0.77 变 0.94、排名未动 · arXiv:2610.31606 · 邻近跟踪

How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions · arXiv:2610.31606 · 邻近跟踪
作者与机构:Miguel Mochizuki Silva(Universidade Federal da Paraíba, UFPB);合作者 Samuel Ismael、Mateus C. Dias、Thaís Gaudêncio、Yuri Malheiros 同属 UFPB;通讯作者 Bruno Barufaldi(Department of Radiology, Perelman School of Medicine, University of Pennsylvania,bruno.barufaldi@pennmedicine.upenn.edu)。
研究问题与核心方法:
要问的是:把相关性标在"证据跨度"而不是"某一个 chunk"上,检索分数会怎么变——是检索变好了,还是标注变全了?
语料是 18 篇乳腺病变管理文献,来自按 ASBrS 高危病变分类预先划定的 15 个类别,由专家从指南、ACR 适用性标准、WHO 分类与病变专论里挑出,逐条按类别词频与全文复核。语料切成 757 个 chunk(384 token、重叠 77)。恶性类别与纤维瘤病不走向检索,用范围闸门直接返回固定转诊答复。
查询是每篇文献一条的直接问题,共 18 条,含是/否题与 WH 题。检索用 BGE-Large 稠密检索加 BM25 并行,倒数排名融合(RRF)后用 BGE 交叉编码器重排,取前 K 段交给 Qwen 3.6(27B)生成。切块大小 128–1024 与重叠 0–20% 单因子扫,另比四种检索配置。
评测的关键改动在这里:真值不绑 chunk id,而是先在原文里定出证据跨度,再把每个跨度映射到所有包含它的 chunk。这样同一事实因切块不同而落在多个 chunk 时,它们算等价候选而不是互相竞争;每条查询取所有可接受候选里的最高分。检索指标用 R-Precision、Recall@K、MRR@K、nDCG@K。生成侧另做实验,在 512 token 索引上用 DeepEval 的论断级指标(判官为 deepseek-v4-pro)加 BLEU/ROUGE,上下文深度 K=1–5。81
关键结果:
  • 选定配置(384 token、20% 重叠、混合 RRF 加交叉编码器重排)在 18 条查询中 17 条把可接受证据检索进前 3,Recall@3=0.94(§3.3、表 4)。
  • 标注扩展把证据跨度从 25 条增到 37 条、可接受 chunk 从 36 个增到 51 个;检索排名完全没变,但 R-Precision、MRR@3、nDCG@3 从 0.77/0.89/0.90 一起升到 0.94(§3.1、§3.3)。
  • 四种检索配置的差距集中在排序质量:BM25 0.89/0.61/0.72/0.76、纯语义 0.83/0.56/0.69/0.73、混合 RRF 0.89/0.78/0.81/0.83、加交叉编码器后四项全为 0.94(表 4,顺序为 Recall@3/R-Precision/MRR@3/nDCG@3)。
  • 切块大小与重叠都不是单调的:384 token 在尺寸扫里 MRR@3=0.89、nDCG@3=0.90 最高;固定 384 时 0%、10%、20% 重叠的 Recall@3 都是 0.94,20%(77 token)在其余三项最高,15% 反而更低(§3.1、图 2)。
  • 生成侧没有一致最优的上下文深度:Contextual Relevancy 从 K=1 的 0.72 一路降到 K=5 的 0.47,Contextual Precision 却在 K=5 最高(0.91),Faithfulness 全程 0.96–1.00,BLEU-4 最高 0.22(K=5),ROUGE-L 最高 0.51(K=1)(表 5、§3.4)。
  • 定性案例暴露"命中"与"可用"的差别:Q09 的一号命中讲了活检技术,却没给出所问的对照,真正可接受的对比证据排在第七位(§3.5、§4.1)。81
证据与局限:原文自陈:语料只有 18 篇文献、18 条简单直接查询,同一套基准既用来选配置又用来评测;单条查询就能让 Recall@3 变动约 0.06,配置间的差异对个案很敏感;生成质量只用了 LLM 判官与词面指标,没有人工验证;噪声 chunk 在构造真值时已被排除;语料里也没有"把真空辅助切除当 B3 默认方案"的那一派相反指南;是否具备临床证据充分性未评估,作者计划做放射科医师阅读研究。我判断:这篇的价值不在系统而在方法学提醒——它用同一个检索器的两次打分证明了"分数提升可以完全来自标注变全"。但也正因如此,它的数字不能当性能指标引用:n=18、单查询敏感度 0.06、真值扩展时作者看过所选配置的检索结果(原文自己写了这一点),存在向该系统倾斜的可能。81
复现:原文未提供代码或数据链接。关键配置:757 个 chunk(384/77)、BGE-Large + BM25 + RRF + BGE cross-encoder、生成模型 Qwen 3.6(27B)、生成评测判官 deepseek-v4-pro、K=1–5。
与目标研究线的关系:属 A(长程任务的训练与评估),落在"评测口径"这一格:它演示了标注粒度如何直接决定检索分数,以及"可接受候选等价"该怎么处理。可直接搬走的是那条规则——真值定义在证据跨度上、再映射到所有包含它的 chunk,同一事实的多个切块算等价而非竞争,并同时报"扩展标注前后的两套分数"。它成立的条件是语料小到能人工定跨度、且问题有可指认的证据;语料上万篇时这条路线的人力成本会压垮它。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 7
横向四段流水线图。左段"语料准备"竖排五个框:18 篇论文→预处理→切块 384/77→757 个 chunk→真值质量过滤;中段虚线框标注 RAG-MAMA,用户查询分两路进入稠密 BGE-Large 与词法 BM25,经 RRF 融合、BGE 重排、取 Top-K chunk,交 Qwen 3.6 27B 生成;右段"评测"竖排三框:检索指标 R@K、R-Prec、MRR、nDCG,生成指标 DeepEval、BLEU、ROUGE,以及查询分析(长度、措辞、困惑度);箭头方向标出检索结果同时流向生成与评测两条链(arXiv:2610.31606)。

82. 审计斯洛伐克语 FineWeb2:7 条发现 6 条过阈值,但基线每轮更多 · arXiv:2610.31636 · 精读

Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2 · arXiv:2610.31636 · 精读
作者与机构:Marek Šuppa(Comenius University in Bratislava;Cisco Systems);Ivan Vykopal(Kempelen Institute of Intelligent Technologies, KInIT;Brno University of Technology);Jaroslav Kopčan(KInIT)。校企合作。
研究问题与核心方法:
要问的是:一个只有只读工具、提示词里不提任何缺陷类别的 LLM 智能体,能不能在 2,647 万文档的语料里找出母语者确认的系统性缺陷,并把它们编译成可执行的测试?
审计对象是 FineWeb2 的斯洛伐克语切片(slk_Latn,带额外语言识别元数据的再发布版):26,470,482 篇文档、351,844 个主机、96 个 Common Crawl 快照(2013–2024),平均 438 词;3.12% 的文档上辅助语言识别器与流水线标签不一致。
环境是 Parquet 上的 DuckDB,拆成两张表:corpus_meta 一行一文档不含正文,用来做全语料精确流行度;corpus 是 1/13 的确定性文本子样本(2,034,894 篇),凡要读正文才用。智能体通过 11 个只读工具有预算地行动:聚合免费,每读一篇文档花 1 次检查(预算 300 次、250 轮),每次调用写进 JSONL 轨迹可回放。
流程分三段、三种角色:发现由智能体做,产出一条"发现"——描述、一条廉价可执行的选择器、全语料精确流行度、待人工确认的精度;验证由母语者做,盲标每条发现抽取的 25 篇文档(不看来源、URL、元数据),一个模型据标签汇总、提出采纳与否的建议,由标注者决定;部署不带任何模型,把选择器写成 YAML 断言,对任何实现该适配器的语料都能跑,等价于给网页语料做 pytest。
模型是 claude-sonnet-5,经 Claude Code CLI(2.1.231)默认采样,不开 shell、文件或网络权限;系统提示只讲工具、schema 与证据标准(系统性、可复现检索、有文档依据、可量化),不提任何缺陷类型或邻近语言,附录 C 用机械方式核查了这一点。82
关键结果:
  • 三次运行分别用掉 197、180、173 次检查(预算 300),产出 2、4、3 条发现;去重后 7 条选择器按文档重叠与嵌套合并成 4 类现象:免费托管子域上的内容农场、捷克语(或捷斯混说)被标成斯洛伐克语、堆关键词的成人垃圾、slo.* 上的机器翻译农场(表 2、§5)。
  • 最大的一条是 *.firebaseapp.com 与 *.web.app 上的内容农场:1,408,437 篇文档(5.32%)、2,851 个主机,2023-06 那次抓取里占 38.7%,平均 1,011 词(语料均值 438),贡献全部 running words 的 12.3%;三次运行都独立发现了它(§5、图 3)。
  • 盲标结果:7 条里 6 条的人工判定缺陷率在 .53–1.00 之间,25 篇均匀对照为 .08,阈值定在 .5;slo.* 农场只有 .07(1/14),与随机对照不可区分,以 candidate 状态发布(图 4、表 2)。
  • 编译后的测试极便宜:7 条选择器全是元数据式,跑完 26,470,482 篇文档只要 0.7 秒墙钟(20 核约 13 秒 CPU),不用 GPU 也不用 LLM;换成同模型逐篇分类是每千篇 3.42 美元,一遍 90,456 美元(原始 token 价 12,309 美元),且每次抓取都要重付(§5、RQ2)。
  • 静态策略其实够用:两条捷克语发现 100% 落在 LID-Disagree 切片内,成人垃圾选择器全部落在 n_bad_words≥3(语料 0.39%)的切片内;内容农场是唯一一个静态信号筛不出来的——平均 language_score 0.98、MinHash 簇大小 1.00、87% 的文档三个辅助识别器一致,即便收紧到"分数≥0.9、簇≤2、三者一致",仍有 1,220,394/1,408,437(86.6%)通过(§5、图 5、图 6)。
  • 预算匹配下智能体并不占优:每轮 300 次检查,三次运行各自验出 2–3 条选择器,四条静态基线验出 2–4 条;最好的 LowConf 用 1.03 美元验出 4 条(跨 3 个现象组),比任何一次智能体运行(2.21–2.84 美元、2–3 条)都多(表 3、图 7)。
  • 第四个 run(claude-opus-5,协议外)复现了内容农场切片,并报出一条元数据不变式:10,691,128 篇(40.4%)的 language_score 大于 1.0,最高到 1.00001(§5、附录 K)。82
证据与局限:原文自陈:只覆盖一种语言、一个语料、三次运行;人工验证由一名母语者标了 255 篇(智能体 7 条发现每条抽 25 篇、175 篇里标了 122 篇——即图 4 各行分母之和;另 133 篇来自四条基线与对照切片;每条 12–21 篇、中位 19),区间很宽,且 255 条里有 117 条在"什么算垃圾"的判据澄清之前就标了;单标注者设计测不出捷克语/斯洛伐克语歧义文本上的一致性;只测精度不测召回;基线与智能体的条件不对等(基线既没有工具也没有自适应),且 profanity 排序基线只分析了样本、没让模型真跑;两处裁决在恢复丢失标签后被事后更正,正是这次更正把最好基线从"与智能体打平"变成"超过智能体"。我判断:这是本批里最诚实的一篇,负结果写得很清楚,预算匹配的对照表也摆出来了;但要按它的数字做决策,得记住三点——n=3 的运行数太少、单标注者 255 条标签撑不起精度估计、以及"智能体找到的东西静态采样也能碰到"这一条已经把它的价值定位从"发现"改成"测量与可执行测试"。82
复现:框架、适配器、斯洛伐克语测试套件、验证包与智能体轨迹 https://github.com/NaiveNeuron/agentic-corpus-debugger 。关键配置:claude-sonnet-5 via Claude Code CLI 2.1.231、默认采样、无温度设置;每次运行 300 次文档检查 + 250 轮,每条基线 6 轮;语料为 ivykopal/fineweb2-slovak 再发布版。
与目标研究线的关系:属 A(长程任务的训练与评估),也接 B(轨迹与自进化)。可搬走的是三件东西:把"发现"编译成无模型的 YAML 断言(一次性推理、长期零成本执行);按预算对齐的对照表(每次运行限 300 次检查、报美元成本与验出条数);以及"先盲标再用阈值裁"的验证流程。它在语料带丰富元数据、且被审计的现象能用元数据表达时最有效——这篇的 0.7 秒全量扫描正是靠复用流水线已算好的列;反过来,如果缺陷只能从正文语义看出来,测试就要扫文本,成本优势消失。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 8
横向森林图,7 行对应 7 条发现,按 4 类现象分组(G01 内容农场、G02 捷克语误标两行、G04 成人垃圾三行、G05 slo.∗ 农场)。横轴是人工判定的缺陷率(0 到 1,95% Wilson 区间),实心圆点带横向区间,右列给出"缺陷数/标注数":14/19、9/17、17/21、10/12、20/20、16/19、1/14。纵向灰实线标出 25 篇均匀对照的 2/25,阴影带是其区间上界至 .25;虚线是 .5 的采纳阈值,前 6 行区间右端都在虚线右侧,只有最后一行 slo.∗ 的菱形点落在 0.07 且横跨到 .31(arXiv:2610.31636)。
站内摘要出入:站内摘要写"验证了该方法的有效性"。原文 RQ4 的结论相反:每次运行 300 次检查的预算下,最好的静态基线 LowConf 验出 4 条选择器、成本 1.03 美元,优于任何一次智能体运行(2–3 条,2.21–2.84 美元);作者把贡献定位为"测量、刻画与可执行测试",而不是发现能力。

十三、语音修正、恢复与长音频

四篇都在问「评估的是谁」。
最直接的一篇把 WER 的净变化拆成修好、改坏、插入三股流:仅文本修正器会把收到的无错草稿改坏 31.9%,带音频降到 2.6%。摘要说的「带音频可降低损伤」只在部分模型上成立。
另三篇各是一块拼图:SSL 特征清洗在重降质下与听感脱钩、80 个示例就能把效价预测的 R² 从 base model 的 0.110 拉到 GPT-5 的 0.427(GPT-5 零样本是 −0.801)、以及冻结音频-语言模型配两个轻量适配器把长音频定位的 mIoU 从 15.80 抬到 44.13。

83. 仅文本修正器改坏自产草稿的 31.9%,带音频降到 2.6% · arXiv:2610.30385 · 值得扫读

Text-Only LLM Correctors Break Correct Transcripts: A Repair-Damage Analysis of Audio Grounding in ASR Error Correction · arXiv:2610.30385 · 值得扫读
作者与机构:第一作者 Vasiliy Kudryavtsev(BitmanagerAI,迪拜,UAE);Kirill Borodin 为通讯作者(kborodin.research@gmail.com),与 Nikita Vasiliev、Mikhail Gorodnichev、Grach Mkrtchian 共同署名。原文首页署三个单位:BitmanagerAI(Dubai)、MTUCI(Moscow)、lab260(Yerevan)。与 brief 的站内机构一致。
研究问题与核心方法:
要问的是:把 WER 的净变化拆成「修好」「改坏」「插入」三股流之后,源音频到底给修正器添了什么?
修正器记为 y^ = g(a, h),音频 a 与输入假设 h 都可撤掉。两种假设:ASR output 来自常规识别器(俄语 GigaAM,英语 Whisper Large-v3-Turbo),draft 是音频 LLM 自己的单遍转写。由此得到五个 cell:C 与 A 对 draft 无/有音频(自纠场景),T 与 F 对 ASR 输出无/有音频(跨系统场景),B 是无假设的第二次纯音频转写,作控制。
核心是一会计恒等式:ΔWER = rep/W − dam/W + (ι_h − ι_ŷ)/W,逐句与汇总都精确成立。WER 即词错误率;rep 是假设里错、输出里对的 token 数,dam 是假设里对、输出里错的 token 数。break-rate 指无错输入里至少被新增一个错误的占比,fix-rate 指有错输入里错误数下降的占比。所有率以参考 token 的百分比计,差值用 pt(百分点)。
三套语料:3,000 条俄语合成句(十个科学领域,TTS 渲染)、300 条 RuLibriSpeech 俄语有声书、300 条英语医疗口述。要求七个输出(ASR、draft 与五个 cell)全非空后,剩 n=2,260 / 270 / 284。主模型 Gemini 2.5 Flash,temperature 0,每句一次调用,2026 年 3 月至 8 月同一 API 供应商。Voxtral-Small-24B 复跑全部 cell(n=467/96/96),GPT Audio 只跑 cell F(n=450/93/86)。区间为 95% paired utterance-level percentile bootstrap,20,000 次重采样。
作者自己点出一个设计缺口:两臂 prompt 不同。text-only 是编辑任务(「音频不可用……不确定就保留原样」),grounded 是转写任务(「把假设当 PHONETIC GUIDE……ASR 与音频明显冲突时信音频」)。因此对比只给出音频效应的上界,不隔离音频本身。prompt 单独的效应不小:B 与 draft 只差 prompt,医疗集 WER 就差 2.53 pt。83
关键结果:
  • 自纠场景下,仅文本修正把收到的无错草稿改坏 31.9%(合成)/16.3%(RuLibri)/12.8%(医疗),带音频后降到 2.6%/1.0%/2.3%(表 2)。
  • 同一场景下修复与损伤同时下降:rep 降 0.15–0.74 pt,dam 降 0.88–2.83 pt,六个区间全部排除零;带音频的模型只是更少动 token(表 2、§4.2)。
  • 跨系统场景方向相反:dam 三套语料都降(1.31/0.18/0.71 pt,两个区间排除零),rep 三套都升(+0.09/+0.95/+1.25 pt);医疗集 rep 从 2.06% 升到 3.31%,相对 +61%(§4.2)。
  • 净 WER 上跨系统三套都赢(F−T 的 net = +1.48/+1.18/+1.57 pt,区间均排除零);自纠在自然语料上测不出净差(+0.45 pt,[−0.13,+1.05];−0.09 pt,[−1.02,+0.82])(表 1、表 2)。
  • 医疗集上插入项吃掉收益:draft 的插入占参考 token 4.47%,仅文本 cell 降到 3.29%,带音频 cell 仍 4.37%;ins 分量 −1.08 pt 抵掉 rep+dam 的 +0.98 pt,净 −0.09 pt。我按表 2 重算 −0.74+1.72−1.08=−0.10,与原文 −0.09 是舍入差(§4.3)。
  • 医疗 draft 的 182 个插入 token 里 77 个是复合词被拆的一半(「post operative」「10 mg」);仅文本 cell 后剩 40 个,带音频后剩 80 个,且听出来的填充词「uh」从 6 个增到 14 个(§4.3)。
  • Voxtral-Small-24B 不复现该模式:其仅文本自纠 fix-rate 只有 1.5–3.8%(Gemini 为 24.2–27.8%),带音频后 rep 在六个对比里全升(+0.24 至 +4.64 pt),dam 方向不一(表 5、§4.6)。83
证据与局限:原文自陈:两臂 prompt 不同,只有 matched-prompt 设计才能隔离音频;完整五格只有一个模型跑过;三个音频 LLM 里两个是商业 API,有版本漂移;合成语料源自维基文本,LLM 预训练大概率见过;未与专为该任务训练的修正器对比;合成集接近天花板(65% 的 ASR 输出与 79% 的 draft 已完全正确),三条结论在自然语音上不成立。我判断:damage 下降这一层最硬——有 20,000 次 bootstrap 的配对区间,且作者做了两种排除规则的敏感性检查(分量不跨零、区间不换边)。break-rate 在自然语料上「无错输入很少、没有区间、还含纯正字法改动」,只是描述性数字,不宜当效应量引。医疗集净差 −0.09 pt 依赖未做逆文本归一化的计分口径,作者自己说复合词/填充词不敏感的计分会翻转符号,所以「插入抵消收益」是条件性结论。跨系统 rep 上升同时被 prompt 抬高(T 的第 4、5 条规则禁止若干编辑),作者称其为上界。83
复现:原文未提供代码或数据链接。语料与识别器均为公开件:Wikipedia_asr(https://huggingface.co/datasets/rmndrnts/wikipedia_asr)、RuLibriSpeech(https://huggingface.co/datasets/bond005/rulibrispeech)、Eka 医疗 ASR 评测集(https://huggingface.co/datasets/ekacare/eka-medical-asr-evaluation-dataset)。关键配置:temperature 0、每句一次调用;计分前做 NFKC、小写、西里尔字母 ё→е、去标点,不做逆文本归一化;区间 20,000 次重采样;对齐用 deletion-first 回溯,换成 insertion-first 时每个率最多移动 0.02 pt。
与目标研究线的关系:属 C(TTS 生成与评估)。语音与音频栏目里最常见的「用文本模型修音」——拿 LLM 清洗 TTS 训练语料、修正播客字幕、给合成语音做文本对齐——都踩在这条结论上:聚合 WER 会把改坏与修好相加抵消,而仅文本修正会改坏 12.8–31.9% 本来正确的转写。可直接搬走的是验收口径:同时报 break-rate 与 rep/dam/ins 三分解,并且只在假设来自独立识别器时再花音频调用;自纠场景下音频的收益是「少改坏」,不是降 WER。成立条件很窄:对很少编辑的模型(Voxtral fix-rate 1.5–3.8%)整套账不成立,且计分口径必须固定否则符号会翻。
原文无插图:该文正文只有表 1–5,PDF 里也没有任何位图对象(pdfimages 列表为空),按「实测不过就不配图」的规矩此处不配图;要核结论请直接看表 2 的 rep/dam/ins 三列与 break-rate 行(arXiv:2610.30385)。
站内摘要出入:摘要把「带音频可降低损伤」写成通例,原文只在 Gemini 2.5 Flash 的两个设置里成立——Voxtral 的 dam 在 RuLibri 自纠上升 0.68 pt、跨系统上升 1.43 pt,GPT Audio 的 cell F 在两套语料上净掉 8.82 与 8.54 pt;摘要也没提「两臂 prompt 不同,对比只界定音频效应的上界」这一限定。
来源:公众号条目 · 官网条目 · arXiv 原文

84. SSL 特征清洗在重降质下与感知质量脱钩,ERI 把 PESQ 提到 2.82 · arXiv:2610.30869 · 值得扫读

When Do Self-Supervised Representations Help Speech Restoration? · arXiv:2610.30869 · 值得扫读
作者与机构:第一作者 Yongjoon Lee(韩国科学技术院电气工程学院,School of Electrical Engineering, KAIST);Younghoo Kwon 同属该院;Jung-Woo Choi 为通讯作者,同属 KAIST,第二单位为 Department of AI Systems, KAIST。全部作者均属 KAIST,与 brief 一致。
研究问题与核心方法:
要问的是:把退化语音的 SSL 特征「洗干净」再拿去条件化语音恢复模型,这一步在什么退化强度上开始与听感脱钩?
先看 SSL 怎么编码退化语音。从 FLEURS-R 与 LibriTTS-R 各取 m=25 条语音、从 WHAM! 与 DNS Challenge 2020 取 25 条噪声,按 SNR −20 到 20 dB、步长 2 dB 合成,加上干净语音与噪声本身,每条语音共 23 个条件,喂 WavLM 取最后层(时间维池化)做 t-SNE。观察到两类行为:一类样本随 SNR 平滑远离自己的干净锚点;另一类在 0 dB 附近直接并入噪声簇,尽管语音仍可听。
再把「SSL 距离能否排序感知质量」量化。取 m=100 条 LibriTTS-R 干净句,各生成 Easy/Moderate/Difficult/Extreme 四档退化(噪声、带宽限制、削波、混响、丢包;退化类型与概率跨档固定,只改强度:SNR 从 [12.5,20] 降到 [−10,−2.5] dB,带宽截止从 [5750,7000] 降到 [2000,3250] Hz,丢包 5→20 ms)。算干净与退化特征的余弦距离,再与感知分做 Spearman 相关。SSL 取 WavLM、HuBERT、SPEAR、Wav2Vec 2.0 的 large 版;质量侧取 VQScore、SCOREQ(no-reference 模式)、DNSMOS,另加不依赖模型的 LSD。每档 100 对观测,bootstrap 1,000 次给均值与标准差。
结论是 perceptual correlation collapse(感知相关性崩溃):轻退化下相关强,越过某一强度后崩塌。四个 SSL、含 LSD 在内的四个质量代理都出现同一趋势,且落在 bootstrap 不确定带之外。
方法 ERI 只做一件事:把 SEMamba++ 的 bottleneck 隐特征(T,F,D)reshape 成 (T,FD),线性映射到 WavLM 的 C 维,LayerNorm + LeakyReLU 后自适应平均池化对齐 WavLM 的时间维 T′,与该处 (T′,C) 的卷积特征拼接,再线性回 (T′,C) 作为条件注入。条件取自 SEMamba++ 第 2 层,清洗后的 SSL 特征在第 3 层经 AdaLN 融回主干。两处 stop-gradient 分工明确:ERI 前的那道挡住 SSL 损失改主干,条件融合前的那道挡住谱级 SR 损失改 WavLM。WavLM 用 LoRA 微调(r=16、α=32),总损失 L_total = L_G + L_SSL(第 24 层特征的 L2 归一化 MSE)。84
关键结果:
  • VoiceFixer 官方测试集上 ERI 拿到最高 PESQ 2.82、ESTOI 0.71、LPS 0.92;UTMOS 3.86 排第二(SIDON 3.97);OVRL 3.10 与 SEMamba++ 持平,低于 SIDON 3.20 与 AnyEnhance 3.14(表 1)。
  • 参数量 340M(可训练 24.5M,SEMamba++ 为 2.7M);单张 RTX 4090 上 RTF 从 0.015 升到 0.020(§5)。
  • 同参数量对照(LoRA 的 r、α 加倍并挂到两个 FFN,参数差 <1M)ERI 全面优于无 ERI 基线:SCOREQ 3.97 vs 3.93、UTMOS 4.06 vs 4.03、PESQ 2.50 vs 2.42、LPS 0.90 vs 0.88(表 2,Stage-1 训 500k 步)。
  • Stage-1 只训 300k 步(主干未收敛)时 ERI 仍有效:3.95/4.04/2.41/0.89 对 3.88/3.99/2.41/0.88;把 SSL 换成 HuBERT 也保持:3.93/4.03/2.41/0.87 对 3.86/3.96/2.33/0.83(表 2)。
  • 设计研究(均 300k 步):ERI 改取第 1 层降到 3.91/4.03/2.42/0.88;去掉条件融合前的 stop-gradient 降到 3.92/4.02/2.42/0.88;把注入机制换成 AdaLN(32M)得 3.94/4.04/2.43/0.89,与默认 24M 版基本持平(表 3)——作者据此说收益来自注入的中间层特征本身,不是更大容量。84
证据与局限:原文自陈:相关性分析用的是神经质量代理而不是人类主观分,只能靠多代理一致来支撑趋势;对已收敛的 ERI 再跑相关性分析会被混淆,因为有无 ERI 最终都学会了清洗,所以改用感知增益比(每 10⁻³ 的 SSL 损失下降换多少 SCOREQ 增量)。我判断:崩溃的证据是「四个 SSL × 四个质量代理」同向,加 1,000 次 bootstrap 的标准差带,属横截面相关而非因果;四档退化由同一模拟管线生成、类型与概率跨档固定,这个控制是干净的,但只覆盖 16 kHz、英文、LibriTTS-R。方法收益的绝对值很小,表 2 的差值都在 0.02–0.08 量级;且表 1 的 PESQ 2.82 与表 2 的 2.50 不在同一测试集(表 1 为 VoiceFixer 官方集,表 2 为自建模拟集),两处数字不能互换引用。OVRL 未超过最强基线,「有竞争力」仅限 PESQ/ESTOI/LPS 三项。84
复现:原文未提供代码或数据链接。关键配置:VCTK-0.92(去掉 p280、p315 说话人)加 LibriTTS-R train-clean-100/360,共 300 小时;16 kHz,3 秒段(48,000 样本),STFT 窗长 400、跳 160;学习率 1e-4、AdamW(β1=0.8、β2=0.99)、batch 8、指数衰减 γ=0.99;Stage 2 再训 300k 步;LoRA r=16、α=32;ERI 条件取 SEMamba++ 第 2 层,SSL 特征在第 3 层经 AdaLN 融回,WavLM 取第 24 层输出。基线全部用官方 checkpoint。
与目标研究线的关系:属 C(TTS 生成与评估)。语音恢复是 TTS 与播客素材的前置清洗环节,「用 SSL 特征距离当训练信号」是这套管线的常用做法;本文的可搬结论是:在重降质片段上这条信号会与听感脱钩,验收不能只看 SSL 损失或单一 UTMOS,应分退化档并同时报 PESQ/ESTOI/LPS。ERI 本身很轻(线性层 + 池化 + 拼接),可以挂到已有的恢复骨干上,前提是 SSL 分支能承受 LoRA 微调,且必须用两处 stop-gradient 把 SSL 损失与谱损失隔开——消融显示拿掉条件融合前的 stop-gradient 会掉点。成立条件:收益量级在 0.02–0.08,不足以支撑「换架构」的结论,只适合当增量改进。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 1
架构与训练数据流:上方橙色框是 SEMamba++ 主干,左侧「Degraded speech」经 STFT 进入,框内依次画 Layer 2、Layer 3 到 Layer n,输出「Restored speech」,与右侧「Clean speech」之间用红色虚线标 SR loss;主干第 2 层向下引出一条带「sg」(stop-gradient)的支路进入灰框 Early Restoration Injection。下方蓝色框是 WavLM,Layer 1 与 Layer 24 上各标一块绿色 LoRA,中间省略号表示其余层。WavLM 第 24 层输出「Clean SSL feature」,与「Restored SSL feature」之间是红色虚线的 SSL loss;恢复后的特征经灰框 SSL condition fusion(同样带 sg)回注主干第 3 层。雪花图标标冻结、火苗标可训练(arXiv:2610.30869)。
站内摘要出入:摘要称「在 VoiceFixer 基准上取得有竞争力的性能」,原文的实际分布是 PESQ/ESTOI/LPS 三项第一、UTMOS 第二、OVRL 3.10 与 SEMamba++ 持平且低于 SIDON 的 3.20,原文自己的措辞是 competitive 而非最优。

85. 80 个示例把效价 R² 从 base model 的 0.110 提到 GPT-5 的 0.427 · arXiv:2610.31202 · 邻近跟踪

Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models · arXiv:2610.31202 · 邻近跟踪
作者与机构:第一作者 Chi-En Dai,与 Chih-Pin Tan、Yi-Hsuan Yang 同属台湾大学电机资讯学院通讯工程学研究所(Graduate Institute of Communication Engineering, National Taiwan University, Taiwan)。原文首页只署这一个单位,brief 的站内机构一栏为空。
研究问题与核心方法:
要问的是:不改权重、只在推理时塞示例,能不能把 LLM/MLLM 从音乐音频里预测连续效价(valence,情感的正面/负面程度)的能力拉起来?
两阶段。第一阶段由小模型给锚点:base model 取 Music2Emo 的音频分支、把 MERT 换成 BEATs,5 秒片段平均成 768 维,接 BN+ReLU+dropout 的 MLP,AdamW、学习率 1e-4、batch 64、MSE、150 epoch,输出 1–9 标度的 (v, a)。第二阶段的语言模型不预测绝对值,只预测校准偏移 Δ,最终 ŷ = b + Δ 并截断回 1–9。base model 只用辅助集 CH818 训练,测试集完全不参与。
文本 ICL 的每条示例含 base 预测 b、歌词 ℓ、音频描述 s、真值 y 与目标偏移 Δ=y−b,N 条示例加查询序列化成一个 prompt。歌词用 Whisper-large-v3 在 HTDemucs 分离出的人声轨上转写;音频描述让 Qwen2-Audio 写一段英文的「听者感受」,覆盖整体情绪、能量与速度感、旋律和声的情感色彩、人声或器乐表达四项。多模态版(MICL)把描述换成原始音频,交给 MLLM 自己的音频编码器,其余 prompt 结构不变。
数据严格切开:CH818(818 段 30 秒华语流行,3 位专家标注)只用于训 base model 与抽示例;MER60(60 段 30 秒西方流行,每段 40 名被试在实验室二维情感平面标注)整份当 held-out 测试集,真值取标注者均值。文本 ICL 用 GPT-5,MICL 用 Qwen3-Omni 30B,temperature 0,每个配置跑 5 次(每次重新随机抽示例),报 mean±STD。R² 即决定系数,1.0 为完美预测,负值表示比取均值还差。85
关键结果:
  • 零样本很差:GPT-5 在 MER60 上 R²_A=0.699 但 R²_V=−0.801;Qwen3-Omni 30B 为 0.764/0.037;两者都低于音频基线 SVR 的 0.800/0.270(§1、表 1)。
  • 文本 ICL 随示例数总体改善效价,但不是逐档单调:0-shot −0.801 → 5-shot 0.188±0.036 → 10-shot 0.274±0.054 → 20-shot 0.271±0.025 → 40-shot 0.354±0.036 → 80-shot 0.427±0.054(20-shot 比 10-shot 低 0.003,小于后者 ±0.054 的示例抽样标准差);唤醒度同期从 0.699 升到 0.874(表 2a)。
  • MICL 在 10-shot 见顶:0.346±0.046(R²_A 0.768),20/40/80-shot 回落到 0.247/0.245/0.238;作者猜是音频示例把上下文拉长所致(表 3a)。
  • 输入消融(文本 80-shot):只给 base 预测时 R²_V 仅 0.002;作者称音频描述信息量最大、歌词单独贡献很小,三者齐全最好 0.427(表 2b)。MICL 10-shot 下 base 预测主导,最佳组合是 base+歌词 0.346,再加音频描述反而降到 0.263(表 3b、§4.2)。
  • 换小模型掉点:文本 80-shot 把 GPT-5 换成 Qwen2-7B / Qwen3.5-122B / GPT-5-mini,R²_V 分别降到 0.164 / 0.285 / 0.317;MICL 10-shot 把 Qwen3-Omni-30B 换成 Qwen2.5-Omni-3B / 7B,降到 0.123 / 0.308(§4.2)。
  • 自家 base model(91M,CH818 训练)在 MER60 上 R²_V=0.110、R²_A=0.783;跨到 DEAM 变成 −0.062/0.168(表 1)。85
证据与局限:原文自陈:MER60 虽标注质量高但规模小;MICL 在示例增多后掉点只是「猜测」上下文长度所致;未来工作要改进多模态 ICL 并扩大测试数据。我判断:测试集只有 60 段、每段 30 秒,5 次重复只是重抽示例,报告的 ±STD 是示例抽样方差而不是模型方差,原文也没有做显著性检验,所以「substantial gains」是点估计比较。80-shot 的每次查询都要塞进 80 段歌词与描述,成本与延迟原文未报告,「training-free」只在「不更新权重」这一层成立。另一个混杂:base model 与示例同出 CH818,MER60 与 CH818 又都是作者团队按专家协议采的集子,跨数据集切分严格但标注协议同源;表 1 显示同一 base model 换到众包标注的 DEAM 时 R²_V 转负,外推要谨慎。85
复现:代码、模型 checkpoint、可解释推理样例、非 MER60 片段的预测结果与整曲预测扩展都在 https://github.com/DCN2001/MusicEmotionModeling。关键配置:base model 91M(BEATs 768 维 + MLP),AdamW 学习率 1e-4、batch 64、150 epoch、MSE;所有推理 temperature 0,5 次独立运行取均值;文本 ICL 用 GPT-5 取 80 示例,MICL 用 Qwen3-Omni 30B 取 10 示例。
与目标研究线的关系:属 C(TTS 生成与评估)。这是一套「小模型出分、大模型只出残差」的推理期校准,正好能套到主观听感打分与节目级评分上:把已有自动指标当锚点,让 LLM 依据示例预测偏移,而不是让它直接给绝对分——消融显示只给锚点(0.002)或只给描述都远差于两者同给。可搬的口径还有「按维度分开看」:唤醒度由 base model 就做到 0.783,ICL 只补到 0.874;效价才是 ICL 的主战场,从 0.110 到 0.427。成立条件是示例与测试同分布、且示例数要够(文本 80 条才到位),多模态反而在 10 条后就开始退化,说明这不是「示例越多越好」的通用配方。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 2
框架三路并行:输入音频左侧分叉,中左橙色 Audio Encoder (Base) 接 Regression Head 输出 (V,A) base prediction;同一下方绿色链路 Source Separation → Vocal → ASR → Lyrics。上方灰框是 MICL 分支,音频直接进 Audio Encoder (MM-LM),文本经 Text Encoding (MM-LM),合成「MICL Prompt (With N demos)」送 Mm-LM,输出 MICL output。下方灰框是文本 ICL 分支,红色 Audio-LM 由音频生成 Descriptions,与 Lyrics、base prediction 一起进「Text ICL Prompt (With N demos)」,经 Text Encoding (Text-LM) 与 Text-LM 输出 Text ICL output。全图无坐标轴与数值标注,只有模块与箭头(arXiv:2610.31202)。
站内摘要出入:摘要称「显著提升了效价预测性能」,原文未做显著性检验,只给 5 次随机示例抽样的 mean±STD;且 0.427 是相对自家 base model 的 0.110,不是相对该表最强的 SVR(0.270),80-shot 的调用成本原文未报告;另 brief 的站内机构为空,原文实为台湾大学通讯工程学研究所。

86. 冻结 LALM 配 FiLM+CfC,mIoU 从 15.80 升到 44.13 · arXiv:2610.31252 · 值得扫读

Query-Conditioned Liquid Temporal Grounding for Long-Form Audio · arXiv:2610.31252 · 值得扫读
作者与机构:第一作者 Yuelan Cheng(萨里大学视觉、语音与信号处理中心,Centre for Vision, Speech and Signal Processing, University of Surrey, UK);Yonggang Zhu、Yongqiang Chen、Peiwei Chang 属中国农业大学信息与电气工程学院;Yingyi Chen 属北京邮电大学人工智能学院;Wenwu Wang 属萨里大学。与 brief 一致。
研究问题与核心方法:
要问的是:录音最长 30 分钟、目标片段只占很小比例时,怎么让冻结的音频-语言模型把查询描述的那一段框出来?
主路先做查询条件化。音频编码器给出高分辨率表示,时间投影加池化得 H=[h₁,…,h_T];查询编码器给 token 级 Q 与池化向量 q。FiLM(feature-wise linear modulation,用查询生成一对缩放/平移参数去调制每个时间步)作用在 H 上:h̃_t = (1+f_γ(q))⊙h_t + f_β(q),同一组调制参数在所有时间步共享,因此保留时间序。随后 CfC(closed-form continuous-time,闭式连续时间网络)按 Δ_t = D/(T−1) 演化隐状态,再经 LayerNorm 与 dropout 得 Z;所谓「liquid」指的就是这种随输入与物理时间步变化的连续时间动力学。
并行一路算帧级音频-查询匹配信号 p^m:(1−w_g) 倍的 token 级相似度加 w_g 倍的与池化查询的全局相似度。把 [H̃; Z; p^m] 拼接归一化后,三个轻量头分别预测起点、终点与帧级相关性分布。候选区间从相关性曲线与匹配曲线的加权和 u 上取:种子取 u 的 0.85 分位以上,向超过生长分位(默认 0.65)的邻位生长,合并邻近区域并生成多尺度变体,再用起止点的局部响应调边界。这套提取没有可训练参数。
候选由冻结的 LALM 选:把每个候选的音频裁剪与原始查询一起喂 Yes/No 兼容性 prompt,对 Yes/No 两个 next-token logits 做二分类 softmax,取 Yes 概率最高者。Qwen3-Omni 系统再加一个轻量 refiner:在候选边界外扩 5 秒的窗口里,冻结的 Qwen3-Omni 音频编码器给语义表示、mel 谱上的 Conv1D 给高分辨率声学特征,两路各自经 FiLM 查询条件化后融合,在起点、中心、终点处池化;输出受 δ_max=5 秒约束的残差 Δb=δ_max·tanh(r_b) 与门控 α_b=σ(g_b),最终 b̂=clip(b̃+α_b·Δb, 0, D)。
训练只动轻量模块:3,737 条 query–segment 对(LAT Chronicle 英文 TAG 子集,9:1 切分),AdamW、学习率 1e-4、3 个 epoch、1,024 个时间 bin,五个损失权重 (0.3, 1.0, 0.5, 0.5, 0.3),单张 A100。评测在 LAT-Bench 英文 TAG 子集上,报 mIoU 与 R@0.3/0.5/0.7。mIoU 即预测区间与真值区间的平均交并比。86
关键结果:
  • MOSS-Audio-8B 上 mIoU 38.52、R@0.5 40.61;对照 direct 15.71/14.79、sliding-window 26.39/14.79、QA-SFT 17.75/18.08(表 1)。
  • Qwen3-Omni-30B 上 ρg=0.65 得 42.72,加 refiner 43.20,两套候选池取并集 43.45,并集+refiner 44.13(R@0.5 46.95、R@0.7 22.07);direct 基线只有 15.80(表 1)。
  • 同一张表里对照不弱:LAT-Audio 报 50.00 mIoU、Gemini-2.5-Pro 45.30、Gemini-3.0-Pro 41.00,本文最好的 44.13 低于前两者;作者自己的说法是「在冻结骨干的轻量适配下保持一致提升」(§4.1)。
  • 候选池的上限没吃满:Qwen3-Omni 并集池 Top-1 43.45 对 oracle 55.20(R@0.7 21.13 对 38.26),ρg=0.65 池 42.72 对 51.04,MOSS-Audio 38.52 对 46.72;作者据此把候选选择列为瓶颈(表 2、§4.2)。
  • 消融(ρg=0.65):MOSS-Audio 上 FiLM 单独用反而掉(33.85,比两者都不用的 36.29 低 2.44),CfC 单独 37.21,FiLM+CfC 38.52,换成 GRU 掉到 32.00;Qwen3-Omni 上是 35.31 / 38.37 / 42.72,GRU 31.29(表 3)。
  • 边界 refiner 的增益要在紧阈值上才看得见:ρg=0.65 池 mIoU 42.72→43.20、R@0.7 19.95→21.13;并集池 43.45→44.13、R@0.5 45.54→46.95(§4.1)。作者也承认 refiner 后 R@0.7 仍低于 QA-SFT(22.07 对 24.50)。86
证据与局限:原文自陈:Top-1 与 oracle 的差距说明候选选择仍是瓶颈,留给未来工作;refiner 只在 Qwen3-Omni 上做;整体 mIoU 仍低于端到端适配的 LAT-Audio。我判断:表 1 里本文行与 LAT-Audio、Gemini 两行不是同一实验条件(对方是官方报告的主模型结果,本文是冻结骨干加轻量模块),所以「提升」应严格读作相对本文自己复跑的 direct/SW/QA-SFT,而这些基线未见多次运行或随机种子,表里也没有方差。消融显示 FiLM 单独用会掉 2.44 mIoU,结论只能按「FiLM 与 CfC 必须配对」引用,不能拆开说 FiLM 有用。测试集规模(录音条数)原文正文未给,且只有英文 TAG 一个子集,跨语言与跨领域未知。86
复现:原文未提供代码或数据链接。关键配置:冻结 MOSS-Audio-8B-Instruct 与 Qwen3-Omni-30B-A3B-Instruct;AdamW、学习率 1e-4、3 epoch、1,024 时间 bin、损失权重 (0.3, 1.0, 0.5, 0.5, 0.3);候选种子分位 0.85、生长分位 0.65(另测 0.80);refiner 窗口 ±5 秒、δ_max=5 秒;单张 NVIDIA A100。
与目标研究线的关系:属 D(播客生成与节目级评估)。节目级定位——找出嘉宾讲某个话题的那三分钟、给已发布节目补章节时间戳、按查询裁片段做引用——可以直接用这套「多候选择优 + 局部边界修正」的结构,因为它只要冻结 LALM 的 Yes/No 打分,不必端到端微调,单卡可训。可搬的口径是同时报 mIoU 与 R@0.3/0.5/0.7:本文 R@0.5 到 46.95 而 R@0.7 只有 22.07,只看前者会掩盖边界精度。成立条件:录音在 30 分钟量级、查询是带具体事件约束的自然语言;若目标几乎覆盖全片,0.85/0.65 两个分位阈值需要重设。另外 Top-1 与 oracle 差 11.75 mIoU,说明换更强的选择器比再加 refiner 更划算。
来源:公众号条目 · 官网条目 · arXiv 原文
论文原图 3
上半是完整框架:左侧「Long-form Audio(e.g., up to 30 min)」经 Audio Encoder 得 Audio Features H(投影+池化);下方「Complex Query」经 Query Encoder 得 Q、q。H、q 进 Query-conditioned FiLM,再进 Liquid CfC 得 Z,与 H̃ 在 Feature Fusion 汇合;并行一路 Audio-Query Matching 出 p^m;Start/End/Relevance 三个头汇入 Candidate Extraction,生成含 C₁、C₂、C₃ 的候选池;原始波形经 Audio Cropping 交给紫色 Frozen LALM 做 Candidate Selection,取 Top-1 后由绿色 Lightweight Boundary Refinement 输出 Final Segment [ŝ, ê]。下半是时间轴示意:横轴 0 到 D,GT event 为绿色实框 [s,e],候选池三个框里 Selected Top-1 是橙框,最终预测用红框并以双向箭头标出相对 Top-1 的左右边界修正量(arXiv:2610.31252)。
站内摘要出入:摘要称「结合冻结的音频-语言模型实现边界细化」,但 refiner 只在 Qwen3-Omni 上接了,MOSS-Audio 的全部结果都没有边界细化;摘要的「持续提升」也未加限定——同一张表里 LAT-Audio 的 50.00 与 Gemini-2.5-Pro 的 45.30 都高于本文最好的 44.13。

十四、排除清单与四条线的覆盖说明

192 篇新提交里排除 106 篇,按栏分开列,理由按类聚。
人工智能栏排除 55 篇:
  • 领域应用与外行场景 8 篇:2610.30170、2610.30660、2610.30902、2610.30909、2610.30971、2610.31003、2610.31113、2610.31506。
  • 通用模型方法与训练、推理效率 12 篇:2610.30173、2610.30351、2610.30391、2610.30779、2610.30920、2610.31046、2610.31120、2610.31198、2610.31215、2610.31338、2610.31438、2610.31576。
  • 单点安全与行为研究 7 篇:2610.30445、2610.30678、2610.30696、2610.30727、2610.30751、2610.30758、2610.30822。
  • 理论、形式化与数学 7 篇:2610.30176、2610.30277、2610.30443、2610.30789、2610.30838、2610.30899、2610.31097。
  • 其他领域的专门基准与考试 4 篇:2610.30611、2610.30631、2610.31038、2610.31060。
  • 语义、检索与表征分析 4 篇:2610.31005、2610.31062、2610.31146、2610.31429。
  • 工程部署与治理流程 3 篇:2610.30760、2610.31519、2610.31553。
  • 综述与立场文 1 篇:2610.30436。
  • 搜索求解与分类任务 3 篇:2610.31100、2610.31104、2610.31119。
  • 神经表征与几何分析 1 篇:2610.30938。
  • 其余 5 篇各属一条不相干主线:2610.30663(低资源多语 ASR 的 GRPO)、2610.31041(教育算法漂移)、2610.31239(组合优化的偏好优化)、2610.31248(光伏预测)、2610.31579(人类对自信错误的顺从)。
自然语言处理栏排除 48 篇:
  • 低资源与多语言资源、适配 5 篇:2610.30344、2610.30374、2610.31256、2610.31356、2610.31397。
  • 领域基准与专门能力评测 7 篇:2610.30158、2610.30533、2610.30828、2610.30841、2610.31116、2610.31467、2610.31586。
  • 模型架构与训练方法 6 篇:2610.30154、2610.30705、2610.31098、2610.31305、2610.31421、2610.31646。
  • 单点语言现象与表征分析 10 篇:2610.30682、2610.30715、2610.30778、2610.30934、2610.30960、2610.31017、2610.31193、2610.31407、2610.31520、2610.31620。
  • 文化与公平计量 5 篇:2610.30296、2610.30677、2610.30785、2610.30900、2610.31199。
  • 安全与护栏 3 篇:2610.30690、2610.30742、2610.31047。
  • 评估工具与基准工程 3 篇:2610.30162、2610.30997、2610.31317。
  • 语音识别侧 2 篇:2610.31259、2610.31415。
  • 社会与人文分析 3 篇:2610.30885、2610.30987、2610.31277。
  • 持续学习与遗忘抑制 1 篇:2610.31401。
  • 其余 3 篇:2610.30518(PII 决策模型的产品报告)、2610.30676(矩阵扰动对能力轮廓的影响)、2610.31529(知识图谱到文本的生成评测)。
语音与音频栏排除 3 篇:2610.31093(工业机械声学异常检测)、2610.31235(音频 Transformer 的令牌稀疏化)、2610.31346(水下声被动检测)。三篇都属声学工程任务,与 TTS 生成与评估这条线没有共有口径。
四条线按每篇的主要归属计:A 线(长程任务的训练与评估)50 篇、B 线(轨迹学习与自进化)26 篇、C 线(TTS 生成与评估)8 篇、D 线(播客生成与节目级评估)2 篇。
C 线 8 篇全部出自语音与音频栏,其中 5 篇进正表(档位为精读或值得扫读)、3 篇按邻近跟踪处理;语音栏另外 3 篇按上面的理由排除。
D 线 2 篇都是邻近跟踪,没有直接命中:2610.30860 是尼泊尔语-英语自发播客语料上的代码切换 ASR 基准,2610.31252 是长音频的查询条件时序定位。前者评的是转写、后者做的是检索,两者都不是播客生成,连接点是「节目级真实语料」和「节目级定位」这两件评测与工程上的事。
D 线为什么没有直接命中,用检索而不是当栏翻页核实:podcast generation 最新仍是 2607.21961(2026-07-24,文档到播客的忠实度),podcast script 最新仍是 2601.14903(2026-01-21,PodBench),audio drama 最新仍是 2610.18010(2026-10-13,Fish Audio Drama 3)。今天三栏里没有命中这三条检索的论文,属于当日零产出,不是来源不再覆盖这个方向。

References

  1. 1
    PLE: Physical-Engineering's Last Exam

    arxiv.org

  2. 2
    EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence

    arxiv.org

  3. 3
    Simulated Control Evals

    arxiv.org

  4. 4
    What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation

    arxiv.org

  5. 5
    From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science

    arxiv.org

  6. 6
    Post-Audit Mirage: Identifiability Limits of Offline Agent Verification

    arxiv.org

  7. 7
    What Lies Beyond Perception: A Partition Theory of the Limits of AI Evaluation and Oversight

    arxiv.org

  8. 8
    Scaling Laws for Generative Reward Models

    arxiv.org

  9. 9
    Jev-DLC: Decision-Level Continual Learning from Typed Feedback

    arxiv.org

  10. 10
    Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning

    arxiv.org

  11. 11
    Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors

    arxiv.org

  12. 12
    Diagnosing Personalization Failures in Mobile GUI Agents

    arxiv.org

  13. 13
    AgentTriage: Replayable Security Diagnosis Across Heterogeneous Agent Runtimes

    arxiv.org

  14. 14
    Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences

    arxiv.org

  15. 15
    Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

    arxiv.org

  16. 16
    ColaBench: Evaluating Memory-Guided Knowledge Acquisition in Personal Agents

    arxiv.org

  17. 17
    The Value of Memory in Language Agents

    arxiv.org

  18. 18
    Subgoal-aware Memory Graph for GUI Agent

    arxiv.org

  19. 19
    Governance-State Corruption in Long-Term Memory for LLM Agents: A Cross-Model Stress Test

    arxiv.org

  20. 20
    Muffin - A Shared Memory Buffer for Asynchronous AI Agents

    arxiv.org

  21. 21
    Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3

    arxiv.org

  22. 22
    Governed Self-Evolution for Autonomous Investing: A Multi-Agent LLM System with an Invariant Core

    arxiv.org

  23. 23
    Agentic Knowledge-Model Co-Evolution via Consistency Regularization

    arxiv.org

  24. 24
    ADAPT for Science: A Multi-Agent System for Self-Evolving Scientific Optimization

    arxiv.org

  25. 25
    RIDAR: Safeguarding Research Integrity in Autonomous Research Agents via Automated Detection and Runtime Intervention

    arxiv.org

  26. 26
    Certified Execution Harness for Agentic AI: Safe and Least-Intrusive Petri-Net Supervisory Control Between Reasoning and Action

    arxiv.org

  27. 27
    Conservative Meta-Agent Search: Architecture Adaptation under Non-Stationarity

    arxiv.org

  28. 28
    Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail?

    arxiv.org

  29. 29
    RoleFlow: Self-Evolving Multi-Role Agentic Collaboration via Structural Adaptation

    arxiv.org

  30. 30
    RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding

    arxiv.org

  31. 31
    Adaptive Skill Granularity for Coding Agents: Runtime Routing and Macro-to-Micro Recovery

    arxiv.org

  32. 32
    Directing to Diversify: Multi-Directional Search for Automatic Heuristic Design

    arxiv.org

  33. 33
    Who Is the Influencer? Consensus Dynamics in Multi-Agent Systems

    arxiv.org

  34. 34
    LLM Multi-Agent Systems Are Vulnerable to Herding and Runaway Cascades

    arxiv.org

  35. 35
    TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents

    arxiv.org

  36. 36
    Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals

    arxiv.org

  37. 37
    What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks

    arxiv.org

  38. 38
    What Pairwise Evaluation Misses: Reward Scores across Prompts

    arxiv.org

  39. 39
    Prompt Sensitivity in Tool-Augmented Model Comparisons

    arxiv.org

  40. 40
    Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness

    arxiv.org

  41. 41
    Rethinking the Evaluation of LLM Fact-Checkers

    arxiv.org

  42. 42
    MemPlan: Memory-Conditioned PDDL Planning for Partially Observable Text Environments

    arxiv.org

  43. 43
    Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models

    arxiv.org

  44. 44
    ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents

    arxiv.org

  45. 45
    When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues

    arxiv.org

  46. 46
    Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use

    arxiv.org

  47. 47
    Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering

    arxiv.org

  48. 48
    Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking

    arxiv.org

  49. 49
    RetiJev: Fast and Source-Grounded Ophthalmic Decision Models

    arxiv.org

  50. 50
    Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters

    arxiv.org

  51. 51
    How Well Do Decision Models Transfer to Vietnamese? An Empirical Study of Text Classification

    arxiv.org

  52. 52
    Towards User Simulators That Stay On Task And Still Sound Natural

    arxiv.org

  53. 53
    SIM-UT: A User Simulation based Evaluation Framework for Medical Triage Chatbots

    arxiv.org

  54. 54
    IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

    arxiv.org

  55. 55
    A Reality Check of Inference-Time Context Augmentation Methods

    arxiv.org

  56. 56
    HeyGen Voice: Scene-Aware Voice Cloning for Talking Videos

    arxiv.org

  57. 57
    EmoFI-TTS: Face-Conditioned Expressive Voice Synthesis with Intensity Modulation

    arxiv.org

  58. 58
    MixJudge: Learning a Language-Queryable Critic for Vocal Mixing

    arxiv.org

  59. 59
    MQAScore: Fine-Grained Text-Music Alignment Evaluation via Large Audio Language Model

    arxiv.org

  60. 60
    Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error?

    arxiv.org

  61. 61
    The Cost of Saying Hello: An Empirical Study of Handshake Overhead in AI Agent Communication Protocols

    arxiv.org

  62. 62
    MCP vs CLI for AI Agents: A Comparative Analysis of Tool Integration Strategies for Autonomous Systems

    arxiv.org

  63. 63
    From Single-Actor Environments to Multi-Actor Event Worlds: Can LLMs Be Event World Models?

    arxiv.org

  64. 64
    Speculative Acceptance Does Not Decay with Position: A Full-Length Diagnostic on Long Chain-of-Thought with Independent Drafts

    arxiv.org

  65. 65
    Anticipating Social Consequences with Distributional World Models

    arxiv.org

  66. 66
    Harnessing Language Models as Optimization Modeling Agents

    arxiv.org

  67. 67
    Measuring the Reasoning-Action Coupling in Driving Vision-Language-Action Models through Counterfactuals

    arxiv.org

  68. 68
    Evaluating Artificial Wisdom (AW): A Trajectory-Based Framework for Context-Sensitive Decision Regulation

    arxiv.org

  69. 69
    CANNBot-CAKE: Collaborative Agentic Kernel Evolution for Ascend NPU

    arxiv.org

  70. 70
    Dual Exam: Controlled Evaluation of Multimodal Agents and World Models

    arxiv.org

  71. 71
    PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding

    arxiv.org

  72. 72
    DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

    arxiv.org

  73. 73
    Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models

    arxiv.org

  74. 74
    Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning

    arxiv.org

  75. 75
    Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable

    arxiv.org

  76. 76
    CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution

    arxiv.org

  77. 77
    Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG

    arxiv.org

  78. 78
    Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark

    arxiv.org

  79. 79
    Learning What to Ask for Tomorrow: Active Preference Acquisition for Long-Term Personalized Web Agents

    arxiv.org

  80. 80
    Delta N-gram: Forward-Only Continual Writing into a Language Model’s Native N-gram Memory

    arxiv.org

  81. 81
    How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions

    arxiv.org

  82. 82
    Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2

    arxiv.org

  83. 83
    Text-Only LLM Correctors Break Correct Transcripts: A Repair-Damage Analysis of Audio Grounding in ASR Error Correction

    arxiv.org

  84. 84
    When Do Self-Supervised Representations Help Speech Restoration?

    arxiv.org

  85. 85
    Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models

    arxiv.org

  86. 86
    Query-Conditioned Liquid Temporal Grounding for Long-Form Audio

    arxiv.org

长程智能体与生成式音频论文雷达
长程智能体与生成式音频论文雷达@wei

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content

  • 全景表
  • 一、长程任务怎么被判:基准、任务构造与验证
  • 1. PLE:85项真实工程交付,最强配置仅50.6%、单任务2700万token · arXiv:2610.30537 · 精读
  • 2. EpiSEM-Bench:300对孪生任务,安全边界最高者PUR仅30.5% · arXiv:2610.31650 · 精读
  • 3. SCE:模拟工具响应,安全预测RMSE 3.6点,BashArena为10.1点 · arXiv:2610.31593 · 精读
  • 4. 标签审计:验证检测器与人工一致率82.7%,步数上限改变正确数6/30 · arXiv:2610.30491 · 值得扫读
  • 5. ARATest:243条主张仅54条可绑定,植入553故障全检出、判官342 · arXiv:2610.30495 · 精读
  • 6. 审计后幻影:272对孪生世界公开记录逐字节相同,离线规则必然同判 · arXiv:2610.31130 · 值得扫读
  • 7. 划分理论:行为评估只给区分下限,精确模仿弱模型不可检测 · arXiv:2610.30803 · 邻近跟踪
  • 二、判官、奖励与停止:谁来判、按什么停
  • 8. 静态判官更准,在线奖励器却在 8 组配对里输掉 7 组 · arXiv:2610.30765 · 精读
  • 9. 一次纠正压成 324 字节状态:TCPA-Repeat 用户宏准确率 44.83% · arXiv:2610.31521 · 值得扫读
  • 10. 一个探针跨 token 价格复用:OOD 数学省 41%/51% token 不掉准确率 · arXiv:2610.30450 · 精读
  • 11. 只纠正一种合谋,四种没见过的从 91% 降到 14–20% · arXiv:2610.30582 · 值得扫读
  • 12. 最强 GUI 智能体的 Process 偏好只有 47.17%,比基础任务低 34 个百分点 · arXiv:2610.30573 · 值得扫读
  • 13. 确定性流水线把联合诊断做到 0.858,比最强同构基线高 0.175 · arXiv:2610.30738 · 邻近跟踪
  • 三、智能体记忆:存得住不等于取得出
  • 14. MemPABench:检索式记忆停在与无记忆相当的 50.0%,文件记忆升到 59.2% · arXiv:2610.30485 · 精读
  • 15. 朴素 RAG 在 7 个设置里 6 个第一,最多赢最强智能体记忆 5.53 分 · arXiv:2610.30755 · 精读
  • 16. ColaBench 349 题:MemKB 86.25%,多事实任务增益 9.35 分 · arXiv:2610.30989 · 值得扫读
  • 17. 记忆价值框架:同一份账本让 LoCoMo F1 从 0.016 变到 0.329 · arXiv:2610.31303 · 值得扫读
  • 18. 子目标记忆图把 SPA-Bench 成功率从 34.19% 提到 45.30% · arXiv:2610.31307 · 值得扫读
  • 19. 治理态腐败改变 96.25% 的记忆投影,LongMemEval 掉 40.54 点 · arXiv:2610.30698 · 值得扫读
  • 20. Muffin:20 个设置 17 个第一,比辩论省 77.4% token 多 19.2 分 · arXiv:2610.31355 · 值得扫读
  • 四、自进化:harness、技能与协同结构
  • 21. 两次自我修订只把留出 RHAE 提高 2.80 分,27 条谱系里 12 条反而退步 · arXiv:2610.30499 · 精读
  • 22. 五个月实盘 102 个交易日:24.6% 的板块回撤被收在 0.3% 亏损 · arXiv:2610.30557 · 值得扫读
  • 23. 跨演化视角取效用交集,知识-模型协同演化把平均准确率再推 4.6 分 · arXiv:2610.30790 · 精读
  • 24. 把「在哪搜」和「怎么搜」一起演化,八个留出拓扑损失比最强基线低 54.9% · arXiv:2610.30851 · 值得扫读
  • 25. 300 条科研轨迹 99.7% 出现诚信违规,运行时干预残留违规降 36.8% · arXiv:2610.31372 · 值得扫读
  • 26. 把执行 harness 写成 Petri 网:安全可证,最小侵入阈值 43/60 · arXiv:2610.31376 · 邻近跟踪
  • 27. 96 条模拟流上遗憾 0.116→0.104,假晋升 3.4% 低于 5% 目标 · arXiv:2610.31436 · 邻近跟踪
  • 五、轨迹、协同与信用分配
  • 28. 失败记录让失败走法更可能重演:8 个模型合并 G=−1.38 · arXiv:2610.30205 · 值得扫读
  • 29. RoleFlow:编辑级反事实信用把七基准均分推到 67.1 · arXiv:2610.30429 · 精读
  • 30. RIPPLE:阶段化信用把 SWE-bench Pro 从 50.8 抬到 57.3 · arXiv:2610.31276 · 精读
  • 31. 纯宏执行 0.583、纯微 1.000:技能粒度该在运行时切 · arXiv:2610.31461 · 邻近跟踪
  • 32. PRS:三个扰动方向把 CVRP-50 的最优性差距压到 0.79% · arXiv:2610.31048 · 值得扫读
  • 33. 命名博弈里共识总流向最强模型:K=2 时胜率 0.67–0.83 · arXiv:2610.31105 · 值得扫读
  • 34. LLM 群体的分歧约为人类 9 倍,且级联基本不自我纠正 · arXiv:2610.30769 · 精读
  • 六、自然语言处理:评测口径
  • 35. 只查最终记录会虚高 6.5–12 个百分点:千条印度银行任务基准 · arXiv:2610.30161 · 精读
  • 36. 同一判官重跑两次:聚合分只动约 1 分,21.2% 的提示换了胜负 · arXiv:2610.30512 · 精读
  • 37. 98 个里程碑中 25 个藏有未言明的依赖:带隐藏名的构建单元失败 80.6% · arXiv:2610.30635 · 值得扫读
  • 38. 成对评测漏掉的那一项:跨提示方差占比 0.34–0.64,人类参照近 0 · arXiv:2610.31090 · 值得扫读
  • 39. 工具抬高准确率也拉宽措辞敏感度:分子任务中位极差 0.17 对 0.02 · arXiv:2610.31148 · 值得扫读
  • 40. 判官身份解释的方差约为提示策略的 7 倍:η²=0.087 对 0.012 · arXiv:2610.31172 · 值得扫读
  • 41. 1,913 条主张上直接回答问题的反而更不准,聚合分把它盖住 · arXiv:2610.30504 · 邻近跟踪
  • 七、自然语言处理:长程执行、反馈与状态
  • 42. 固定 PDDL 域配正负记忆:ALFWorld 134 集全对,步数 6.91 · arXiv:2610.30379 · 精读
  • 43. SARL:45K 样本、10 个基准均值 0.429,比最强基线高 24.3% · arXiv:2610.30435 · 精读
  • 44. ReflectPO:Qwen3-8B 总体 45.4,高出最强基线 2.6 点 · arXiv:2610.30933 · 值得扫读
  • 45. 7 个模型 125 探针:留存 62.4%–100%,88.6% 的失败是记得却不遵守 · arXiv:2610.31314 · 值得扫读
  • 46. 87 人 291 对判断:记忆版回答仅 38.7% 被偏好,奖励模型 72.8% · arXiv:2610.31272 · 值得扫读
  • 47. 十文档只移金文档:Transformer 首因 +0.052,状态空间模型 ≈0 · arXiv:2610.31135 · 邻近跟踪
  • 48. 同一 1% 插入:固定分块重算 100%,内容定义分块低于 30% · arXiv:2610.31019 · 值得扫读
  • 八、自然语言处理:决策模型与用户模拟
  • 49. RetiJev:9B 版 158 ms 出答案,指南分级领先 10.4–23.0 分 · arXiv:2610.30947 · 值得扫读
  • 50. 匹配算力下按选项评分高 0.028,但只从 reranker 初始化才成立 · arXiv:2610.30970 · 精读
  • 51. 越南语零样本 JEV 13 个设定里 11 个第一,去变音符号掉 9.51–15.47 分 · arXiv:2610.31422 · 值得扫读
  • 52. 有效模拟对话率 46.2%,是既有最强模拟器的 3.28 倍 · arXiv:2610.31512 · 精读
  • 53. 三款 WhatsApp 分诊机器人都在用户淡化症状后降级,5,000+ 轮模拟复现 · arXiv:2610.30412 · 值得扫读
  • 54. IQuest-Q1:320B/15B 激活,编码基准落后 Claude 9.1 分 · arXiv:2610.30949 · 邻近跟踪
  • 55. 五种上下文增强的最大增益也不达标:21 个组合里教师解释仅 8 个通过符号随机化 · arXiv:2610.30983 · 精读
  • 九、语音与音频:TTS 生成与三类评估口径
  • 56. 场景感知语音克隆:场景对齐 0.637 与参考相似度 0.757 由两套策略各取最高 · arXiv:2610.30470 · 值得扫读
  • 57. EmoFI-TTS:人脸定情绪与强度,MEAD 强度准确率 64.4%、WER 6.9% · arXiv:2610.30477 · 值得扫读
  • 58. 11 个混音问题可查询,正反判别 83.9%、严重度相关 0.971 · arXiv:2610.30783 · 精读
  • 59. 文本-音乐对齐拆成 5 维原子概念,人声维度 AUC 0.966 · arXiv:2610.31083 · 精读
  • 60. 识别器对真人极罕见词漏识 32.9%,三识别器裁定后 TTS 错误降为 1/2.8 · arXiv:2610.31470 · 精读
  • 十、智能体接口、协议与执行环境
  • 61. 智能体握手实测:3 次往返 230 ms,能力元数据每项 24–107 token · arXiv:2610.30151 · 值得扫读
  • 62. MCP 对 CLI:14 维定性对比,渐进披露把 schema 压到 170 token · arXiv:2610.30157 · 邻近跟踪
  • 63. 多主体事件世界:给全他人行动 EM 65.1%,只给自身行动跌到 20.8% · arXiv:2610.30488 · 精读
  • 64. 长 CoT 上独立草稿接受率不随位置衰减,后半段反而高 0.03 · arXiv:2610.30644 · 值得扫读
  • 65. 分布社会世界模型:4B 模型在 5 个环境 15 项指标中 13 项最优 · arXiv:2610.30657 · 值得扫读
  • 66. 冻结模型加执行回环:9 个基准 macro 从 46.47% 到 65.21%,无需训练 · arXiv:2610.30917 · 精读
  • 67. 反事实测驾驶 VLA:改写推理内容只挪 3.26% 轨迹,删掉文本挪 15.65% · arXiv:2610.30953 · 值得扫读
  • 十一、工程化、感知与决策侧
  • 68. 决策调节评分取九项最小值:每域 24 个场景才把系统效应 RMSE 压到 .25 以内 · arXiv:2610.31012 · 邻近跟踪
  • 69. 昇腾算子智能体:标准集 1,060/1,060,隐藏集 98.28%,均分 78.63 · arXiv:2610.31034 · 值得扫读
  • 70. 把智能体与世界模型分开考:1,088 项与 400 例,最高分只有 31.3 与 21.7 · arXiv:2610.31066 · 值得扫读
  • 71. 1,500 对细粒度 GUI 定位:最强模型字符级 70.4%、区域框 56.0% · arXiv:2610.31274 · 值得扫读
  • 72. 双人协作厨房基准:最强模型订单完成率 26.2%,共享笔记本效果正负各半 · arXiv:2610.31511 · 邻近跟踪
  • 73. 因果掩码挡不住未来令牌:验证损失 3.60→1.43 的“提升”被审计推翻 · arXiv:2610.31522 · 精读
  • 74. 直接优化 pass@k 的剪枝:中等 k 高约 3 点,k=16 被 RepExp 反超 · arXiv:2610.31667 · 值得扫读
  • 十二、检索、上下文与语料
  • 75. 自奖励论证让翻转率 14.3%→6.6%,MORABLES 准确率反跌 3.1 点 · arXiv:2610.30349 · 值得扫读
  • 76. 引用检测 F1 升到 0.841,不可恢复引用的正确弃答 31.0%→92.4% · arXiv:2610.30355 · 值得扫读
  • 77. 分层 RAG 控制编译成两次前向:延迟降 35–41%,动作序列 84–89% 全等 · arXiv:2610.30664 · 精读
  • 78. 合成 0.95 小时微调降 MER 1.88 点,GRPO 只再降 0.03 点 · arXiv:2610.30860 · 邻近跟踪
  • 79. 只在会复用的偏好上提问:APA 用 27.6% 的提问量拿到 84.2% 的收益 · arXiv:2610.31107 · 值得扫读
  • 80. 前向写入原生 n-gram 表:3.5 万次写入不崩,跨位置取用失败 · arXiv:2610.31125 · 邻近跟踪
  • 81. 真值标到证据跨度上,R-Precision 从 0.77 变 0.94、排名未动 · arXiv:2610.31606 · 邻近跟踪
  • 82. 审计斯洛伐克语 FineWeb2:7 条发现 6 条过阈值,但基线每轮更多 · arXiv:2610.31636 · 精读
  • 十三、语音修正、恢复与长音频
  • 83. 仅文本修正器改坏自产草稿的 31.9%,带音频降到 2.6% · arXiv:2610.30385 · 值得扫读
  • 84. SSL 特征清洗在重降质下与感知质量脱钩,ERI 把 PESQ 提到 2.82 · arXiv:2610.30869 · 值得扫读
  • 85. 80 个示例把效价 R² 从 base model 的 0.110 提到 GPT-5 的 0.427 · arXiv:2610.31202 · 邻近跟踪
  • 86. 冻结 LALM 配 FiLM+CfC,mIoU 从 15.80 升到 44.13 · arXiv:2610.31252 · 值得扫读
  • 十四、排除清单与四条线的覆盖说明