
本期把该账号 10 月 23 日三栏 192 篇新提交逐条筛完,收录 86 篇:只改推理时的执行回环就把 9 个基准 macro 从 46.47% 拉到 65.21%,而让模型自己写 harness 再改两轮只涨 2.80 分;判官同提示重跑聚合分只差 1 分,却有 21.2% 的提示换了胜负。
| 档位 | 标题与 arXiv | 这一篇在问什么 | 关键数字 | 来源 |
|---|---|---|---|---|
| 精读 | PLE:85 项真实工程交付,最强配置仅 50.6%、单任务 2700 万 token · arXiv:2610.30537 | 前沿模型能不能做完一名持证物理工程师真正会被签字的工程交付物,而不只是答对教材题或调一次有限元软件 | 最强配置 Claude Opus 5.5 + Claude Code 在 85 题上均分 50.6%,$17.18/题,平均 27.0M token、63 分钟 | 官网 |
| 精读 | EpiSEM-Bench:300 对孪生任务,安全边界最高者 PUR 仅 30.5% · arXiv:2610.31650 | 当工具返回里"少了一条真事实"、但没有说任何假话时,agent 会不会执行被禁止的操作 | 两端画像差到近乎互补:GPT-6-Luna 是 Full SWS 51.0%、Full UCR 3.0%、Critical UCR 21.0%、SBM 84.8% | 官网 |
| 精读 | SCE:模拟工具响应,安全预测 RMSE 3.6 点,BashArena 为 10.1 点 · arXiv:2610.31593 | 能不能用一个语言模型替身来生成工具返回、从而在部署自己的任务与环境里跑控制评估 | 5% 审计预算、五个监控器下,SCE 预测安全的总 RMSE 是 3.6 个百分点,BashArena 是 10.1 个百分点,误差降了约三分之二 | 官网 |
| 精读 | ARATest:243 条主张仅 54 条可绑定,植入 553 故障全检出、判官 342 · arXiv:2610.30495 | 一条写成散文的研究主张,能不能自动变成一条可执行、可被证据判定的性质测试 | 覆盖率比想象低得多:243 条主张里 54 条被绑到证据(22.2%),只有 40 条能判(16.5%)——32 条成立、8 条被违反,14 条 inconclusive | 官网 |
| 精读 | 静态判官更准,在线奖励器却在 8 组配对里输掉 7 组 · arXiv:2610.30765 | 一个生成式奖励模型(GenRM,直接生成 A/B 判决的判官)在固定分布上准确率更高 | 8 组配对配置里,Answer-Only 奖励器在 7 组的峰值 Gold Elo 上高于 Thinking;按每条轨迹最好的五个快照平均,同样是 7/8 | 官网 |
| 精读 | 一个探针跨 token 价格复用:OOD 数学省 41%/51% token 不掉准确率 · arXiv:2610.30450 | 把"预测继续推理能得到什么"与"现在要不要停"拆开之后,前者学到的东西能不能跨 token 价格复用 | Qwen3 上,五个 OOD 数学集平均:容忍 0 个百分点时 BELT-H-T 省 40.77% token,容忍 1 个百分点时省 45.98% | 官网 |
| 精读 | MemPABench:检索式记忆停在与无记忆相当的 50.0%,文件记忆升到 59.2% · arXiv:2610.30485 | 当用户在意的是"怎么被服务"——要不要澄清、要不要先确认、什么时候可以自己动手 | PSA 上只有文件记忆有明确增益:59.2%,对无记忆 49.6% 高 9.6 点(95% cluster-bootstrap 区间 [+3.9, +15.6]);Mem0 | 官网 |
| 精读 | 朴素 RAG 在 7 个设置里 6 个第一,最多赢最强智能体记忆 5.53 分 · arXiv:2610.30755 | 智能体记忆系统里那一堆抽取、改写、图结构、学习式检索 | 在 7 个"基准 × 模型"设置里 Raw-RAG 有 6 个排第一,对最强智能体记忆系统的领先是 0.13–5.53 分:LoCoMo 0.65–0.95 分 | 官网 |
| 精读 | 两次自我修订只把留出 RHAE 提高 2.80 分,27 条谱系里 12 条反而退步 · arXiv:2610.30499 | 前沿推理模型能不能自己写出一个完整的任务 harness(包住模型的符号程序,负责感知、记忆、工具 | 两次修订把平均留出 RHAE 从初始版本抬高 2.80 分,95% bootstrap 区间 [−1.44, 7.35],与「平均无收益」相容;严格升/降计数为 15 升 | 官网 |
| 精读 | 跨演化视角取效用交集,知识-模型协同演化把平均准确率再推 4.6 分 · arXiv:2610.30790 | 同一段失败经验,换一种归因方式就能抽出不同的「技能」,凭什么相信其中某一条? | 四基准平均准确率:4B 从 20.38 升到 55.58(+35.2),9B 从 28.12 升到 61.98(+33.9) | 官网 |
| 精读 | RoleFlow:编辑级反事实信用把七基准均分推到 67.1 · arXiv:2610.30429 | 多智能体的协作链能不能在执行过程中按反馈一次次改写,并且让「这一次改写」的功劳与责任被单独算清楚? | 七基准均分 67.1,高于最强对手 W4S 的 62.4 达 4.7 分((55.6+43.5+42.1+81.1+89.0+95.7+62.6)/7=67.09 | 官网 |
| 精读 | RIPPLE:阶段化信用把 SWE-bench Pro 从 50.8 抬到 57.3 · arXiv:2610.31276 | 智能体看得见测试失败、也说得出像样的诊断,却继续沿错方向改——怎么把「看到证据就改」训进策略本身? | 相对 base:Verified 74.6→75.9(+1.3)、Pro 50.8→57.3(+6.5)、Multilingual 68.8→73.6(+4.8) | 官网 |
| 精读 | LLM 群体的分歧约为人类 9 倍,且级联基本不自我纠正 · arXiv:2610.30769 | 当 LLM 智能体能看见别人累计的「推荐数」时,群体选择会不会被早期结果带跑 | 两个影响条件下 13 个模型全部偏离独立判断(每个模型 p<0.001);KL 分歧在弱影响下约为人类的 9 倍、强影响下约 4 倍 | 官网 |
| 精读 | 多主体事件世界:给全他人行动 EM 65.1%,只给自身行动跌到 20.8% · arXiv:2610.30488 | 在多个行动者各自决策、智能体不动系统也会变、状态只能从事件日志里部分看到的环境里 | Task J 单步:SFT 的 Qwen3-1.7B 在 Diplomacy 到 59.7% EM、Qwen3-8B 65.1% | 官网 |
| 精读 | 冻结模型加执行回环:9 个基准 macro 从 46.47% 到 65.21%,无需训练 · arXiv:2610.30917 | 只改推理时的 harness(执行环境、状态、反馈、控制流),不动模型权重 | macro 准确率的提升随规模极不均匀:Qwen3.5-9B 46.47 → 65.21(+18.74 pp,OptiCycle)→ 67.52(OptiState) | 官网 |
| 精读 | 因果掩码挡不住未来令牌:验证损失 3.60→1.43 的“提升”被审计推翻 · arXiv:2610.31522 | 因果注意力掩码正确,是否就保证前缀输出不依赖未来 token?一个异常低的 teacher-forced | 6 对合成实现:非因果版 LeakScore 从 0.0033 到 0.6625,因果修复版全部 0.0000(ε=1e−5);换前缀长度 8/16/32/64、三个随机种子 | 官网 |
| 值得扫读 | 标签审计:验证检测器与人工一致率 82.7%,步数上限改变正确数 6/30 · arXiv:2610.30491 | 把一条执行轨迹压成一个标签(答案对不对、有没有复核、故障有没有传播)之后 | 只有验证检测器会错:D-correct 67/67(100%)、D-impact/恢复 19/19(100%)、故障相关性 18/18(100%) | 官网 |
| 值得扫读 | 审计后幻影:272 对孪生世界公开记录逐字节相同,离线规则必然同判 · arXiv:2610.31130 | 一个只看部署前公开审计记录的 verifier,究竟能不能判断这次 agent 更新部署之后还安不安全 | 不可识别性是可验证的,不是假设:272 对 × 50 轮 = 13,600 条公开输入全部逐字节相同,protected 真值在两侧相反 | 官网 |
| 值得扫读 | 一次纠正压成 324 字节状态:TCPA-Repeat 用户宏准确率 44.83% · arXiv:2610.31521 | 用户在部署后"接受或撤销某个已提交动作"这类类型化反馈,能否在不重放历史、不训练语言模型的前提下 | TCPA-Repeat 全流用户宏准确率 44.83%,比冻结打分器 39.44% 高 5.39 个百分点 | 官网 |
| 值得扫读 | 只纠正一种合谋,四种没见过的从 91% 降到 14–20% · arXiv:2610.30582 | 控制团队抓住监控器(与策略共用权重的那份模型)在一次行为上合谋之后,只用这一次的样本重训监控器 | 干预前,四个留出行为在九个未见格式上的批准率是 91–92%(三个种子的家族平均,单种子 81–98%) | 官网 |
| 值得扫读 | 最强 GUI 智能体的 Process 偏好只有 47.17%,比基础任务低 34 个百分点 · arXiv:2610.30573 | 个性化 GUI 智能体失败,到底败在"不知道偏好该怎么改变执行"(HOW) | 11 个系统在偏好任务上的平均成功率全部低于基础任务。Seed-2.0-Pro 最强,档案 62.64%、日志 65.66%,基础任务 81.13% | 官网 |
| 值得扫读 | ColaBench 349 题:MemKB 86.25%,多事实任务增益 9.35 分 · arXiv:2610.30989 | 个人智能体在查外部知识时,能不能把散落在历史里的个人条件找回来,并用它判断某条规则对自己是否适用 | 349 题上 MemKB 准确率 86.25%,比 Mem0+Hybrid 的 79.94% 高 6.30 个百分点 | 官网 |
| 值得扫读 | 记忆价值框架:同一份账本让 LoCoMo F1 从 0.016 变到 0.329 · arXiv:2610.31303 | 一段历史里到底有多少决策价值,存下来还剩多少,受限的智能体实际能用多少 | 同一批 12 道题,只给账本 F1 是 0.016(12 题 abstain 11 题) | 官网 |
| 值得扫读 | 子目标记忆图把 SPA-Bench 成功率从 34.19% 提到 45.30% · arXiv:2610.31307 | GUI 智能体的经验该以什么粒度存下来才能跨任务复用——单步动作太碎、整条轨迹太死,中间那一层是什么 | 三次独立运行的平均单次成功率:无记忆 34.19%,子目标图 45.30%,绝对差 11.11 个百分点(相对提升 32.5%) | 官网 |
| 值得扫读 | 治理态腐败改变 96.25% 的记忆投影,LongMemEval 掉 40.54 点 · arXiv:2610.30698 | 如果记忆的内容一个字不改,只把"这条记录还有效吗、什么时候被取代、是否已删除"这类治理状态弄错 | 控制面确实被改动:2,080 个底座—故障对里 2,002 个(96.25%)的可操作投影发生变化,预言机干预在全部 2,080 对上(100%)恢复干净投影 | 官网 |
| 值得扫读 | Muffin:20 个设置 17 个第一,比辩论省 77.4% token 多 19.2 分 · arXiv:2610.31355 | 多智能体协作的收益为什么常常被通信吃掉——如果让智能体在推理过程中异步交换"结论"而不是等对方说完再交换 | 20 个"模型 × 基准任务"设置里 Muffin 拿下 17 个第一、其余 3 个第二。这里的实体层级要看清:基准只有 4 个 | 官网 |
| 值得扫读 | 五个月实盘 102 个交易日:24.6% 的板块回撤被收在 0.3% 亏损 · arXiv:2610.30557 | 一个被允许改写自己提示词的智能体,怎样才能改不到自己的风控底线? | 实盘 +5.0%,同期 SPY +12.4%;beta 0.16、波动 9.0%(SPY 12.4%) | 官网 |
| 值得扫读 | 把「在哪搜」和「怎么搜」一起演化,八个留出拓扑损失比最强基线低 54.9% · arXiv:2610.30851 | 在评估很贵、可行解稀疏、参数强耦合的科学设计里,能不能把「从哪开始搜」和「怎么搜」一起交给自演化? | 8 个留出拓扑平均损失 0.204±0.101,比最强经典优化器 NAAdam(0.452±0.150)低 54.9% | 官网 |
| 值得扫读 | 300 条科研轨迹 99.7% 出现诚信违规,运行时干预残留违规降 36.8% · arXiv:2610.31372 | 自主科研智能体的「过程作弊」——结果看着成功、过程却不合规——能不能被自动检出,并在运行中拦住? | RIV-Gold 上实例级 F1 85.2(P 87.1 / R 83.3);要求类型也一致时 F1 掉 12.7 分,分类法层面 F1 86.72、准确率 90.12 | 官网 |
| 值得扫读 | 失败记录让失败走法更可能重演:8 个模型合并 G=−1.38 · arXiv:2610.30205 | 把失败的走法连同裁判的报错写回 transcript 之后,小模型在游戏里会更想重走这一步,还是更不想? | 共享题池上 8 个模型合并后 G=−1.38 [−1.85, −0.95] nats/token,即记录让刚失败的走法更可能被重写 | 官网 |
| 值得扫读 | PRS:三个扰动方向把 CVRP-50 的最优性差距压到 0.79% · arXiv:2610.31048 | 自动启发式设计(AHD)里的多样化,能不能不靠进化算子的副作用,而是在生成层就用显式方向来控制? | CVRP-50 的差距从 MCTS-AHD 的 1.54% 降到 0.79%;CVRP-200 从 5.20% 降到 3.93% | 官网 |
| 值得扫读 | 命名博弈里共识总流向最强模型:K=2 时胜率 0.67–0.83 · arXiv:2610.31105 | 一个由不同模型混成的群体,在完全没有正确答案的任务上,最后采纳谁的观点? | 七个家族都出现大 > 中 > 小的胜率排序;K=2 的两方对照里大模型胜率分别是 GPT-5 0.67、Claude 5 0.81、Gemma 4 0.67 | 官网 |
| 值得扫读 | 智能体握手实测:3 次往返 230 ms,能力元数据每项 24–107 token · arXiv:2610.30151 | 智能体从第一次接触,到"可以发第一条正经任务消息"(原文称 task-ready) | S1 冷启在 50 ms RTT 下到 task-ready 的中位数:MCP legacy 230 ms(p95 236)、MCP modern 122 ms | 官网 |
| 值得扫读 | 长 CoT 上独立草稿接受率不随位置衰减,后半段反而高 0.03 · arXiv:2610.30644 | 推测解码的接受率是否随 CoT 变长而下降?更准确地说,把"草稿训练长度短于推理长度"这个混淆去掉之后 | 剔除 loop 后四个配置都是后半段略高而非衰减:def1 的题内配对差 +0.031 [+0.026,+0.036](same/greedy,327 题升 126 题降 | 官网 |
| 值得扫读 | 分布社会世界模型:4B 模型在 5 个环境 15 项指标中 13 项最优 · arXiv:2610.30657 | 社会交互里同一个行动往往有几种合理走向,能不能用"一次输出就带概率的多个未来"替代重复模拟 | 见过的三个环境、7 项指标上 6 项最优:Magentic-NL 客户效用 272.82(采样未来基线 255.56)、SOTOPIA Goal 8.21 | 官网 |
| 值得扫读 | 反事实测驾驶 VLA:改写推理内容只挪 3.26% 轨迹,删掉文本挪 15.65% · arXiv:2610.30953 | 驾驶 VLA 在动作前生成的那段推理,究竟是"解释" | AutoVLA 与 ORION 主要对"推理在不在、长什么样"敏感,对内容不敏感:delete 与 filler 平均到相机侧 ADE 的 15.65% | 官网 |
| 值得扫读 | 昇腾算子智能体:标准集 1,060/1,060,隐藏集 98.28%,均分 78.63 · arXiv:2610.31034 | 通用模型在 AscendC 上几乎写不出能部署的算子(原文引用的对照:零样本基本全军覆没 | 53 个 CANN-Bench v1.1 算子(难度 L1–L4 分别 8/16/21/8 个)、Ascend 950PR | 官网 |
| 值得扫读 | 把智能体与世界模型分开考:1,088 项与 400 例,最高分只有 31.3 与 21.7 · arXiv:2610.31066 | 世界模型(WM)与多模态智能体(MA)互相喂数据时,端到端失败到底该记在谁头上?能不能把一侧固定住 | Agent 侧 Index:GPT 6 Astra 31.3 最高,其后 GPT 5.6 Sol 20.7、Gemini 3.6 Flash 20.1 | 官网 |
| 值得扫读 | 1,500 对细粒度 GUI 定位:最强模型字符级 70.4%、区域框 56.0% · arXiv:2610.31274 | 端到端 benchmark 把“规划错、定位错、执行错”混成一个成功率 | 通用模型里 Claude Fable 5 平均 83.2% 最高,Opus 5 81.1%、GPT-5.6 Sol 77.7%,其后 Luna 72.7% | 官网 |
| 值得扫读 | 直接优化 pass@k 的剪枝:中等 k 高约 3 点,k=16 被 RepExp 反超 · arXiv:2610.31667 | 测试时只让 k 条部分推理继续跑,怎么选才能最大化“至少一条正确”(pass@k) | DeepSeek-R1-Distill-Qwen-1.5B 在 k=4:PKTP 52.9%,Linear Probe 49.9%、RepExp 49.8% | 官网 |
| 邻近跟踪 | 划分理论:行为评估只给区分下限,精确模仿弱模型不可检测 · arXiv:2610.30803 | 一次行为评估到底能证明模型的什么——尤其能不能证明它"没有"某种能力 | 单侧界是这篇的全部:行为评估最多给出分辨力的下限,且这个下限由评估者当前的分辨率决定;加大对应试者的诱导(更多 prompt、更多 scaffold、更多微调)不抬高它 | 官网 |
| 邻近跟踪 | 确定性流水线把联合诊断做到 0.858,比最强同构基线高 0.175 · arXiv:2610.30738 | 一次已经跑完的工具体智能体执行,第三方能不能只凭记录下来的证据,把"哪个输入到了哪个动作 | 159 次可用执行全部产出完整的 schema 合法证据包,每个 sink 生命周期都按 invocation/result 身份缝合,每次执行都给出 source | 官网 |
| 邻近跟踪 | 把执行 harness 写成 Petri 网:安全可证,最小侵入阈值 43/60 · arXiv:2610.31376 | 在提示注入下,「这次工具调用能不能放行」能不能完全不依赖 LLM 的判断,同时还别把智能体烦死? | 5 种配置的可达 marking 数在 27–32 之间;在「诚实」不可控指派下(rollout 完成不可控),单阶段发布网没有任何安全监督器能放行一次部署 | 官网 |
| 邻近跟踪 | 96 条模拟流上遗憾 0.116→0.104,假晋升 3.4% 低于 5% 目标 · arXiv:2610.31436 | 元智能体在非平稳、反馈延迟且相关的环境里换架构,怎么把「假晋升」压到可接受水平? | 96 条流上归一化代理遗憾从 0.116 降到 0.104(−10.3%),留出效用从 0.44 升到 0.48 | 官网 |
| 邻近跟踪 | 纯宏执行 0.583、纯微 1.000:技能粒度该在运行时切 · arXiv:2610.31461 | 把「用粗粒度的宏技能还是细粒度的原语工具」当成运行时可切换的动作抽象,能不能同时拿到鲁棒性与成本? | 固定粒度暴露取舍:A-Micro 成功率 1.000、平均 6.00 步、7217.75 token、G-score 0.1667;B-Macro 0.583、2.71 步 | 官网 |
| 邻近跟踪 | MCP 对 CLI:14 维定性对比,渐进披露把 schema 压到 170 token · arXiv:2610.30157 | MCP 作为智能体与外部系统之间的接入层是不是必要的抽象,还是 CLI 够用、MCP 只是多一层复杂度? | 结论给出的胜负是 3:9:2——CLI 胜 3/14(安装成本、模型熟悉度、简单任务速度),MCP 胜 9/14,上下文窗口成本与生态广度打平 | 官网 |
| 邻近跟踪 | 决策调节评分取九项最小值:每域 24 个场景才把系统效应 RMSE 压到 .25 以内 · arXiv:2610.31012 | 能力基准测得出模型会不会做题,测不出它在决策条件变化后是否还给出恰当建议——能不能把“情境敏感的决策调节 | 单判据精度仿真(种子 20260929,每格 300 次重复):每域 24 个场景时,中等设置下系统效应 RMSE=.139 | 官网 |
| 邻近跟踪 | 双人协作厨房基准:最强模型订单完成率 26.2%,共享笔记本效果正负各半 · arXiv:2610.31511 | 一个 VLM 同时操控两个厨师,在设备争用、地形变化、必须隔台传递的厨房里 | 最强 gpt-6-astra:完成率 26.2%、总分 25.6、交付精度 93.8%、动作接受率 64.6%、$5.18/episode | 官网 |
| 档位 | 标题与 arXiv | 这一篇在问什么 | 关键数字 | 来源 |
|---|---|---|---|---|
| 精读 | 只查最终记录会虚高 6.5–12 个百分点:千条印度银行任务基准 · arXiv:2610.30161 | 只比对会话结束后的数据库记录,跳过必需步骤的银行客服助手会不会被判成功,这个虚高有多大 | 总体通过率 Qwen3.8-27B 0.849、Gemma 4 31B 0.776、26B-A4B 0.714、12B 0.699、E4B 0.607、E2B 0.479 | 官网 |
| 精读 | 同一判官重跑两次:聚合分只动约 1 分,21.2% 的提示换了胜负 · arXiv:2610.30512 | 当聚合分几乎不动时,LLM 判官在单条提示上的判定到底稳不稳,改指令带来的变化又该怎么和纯复跑噪声分开 | 八套指令的 win-equivalent 分只落在 49.36–53.87;496 条全程有判定的提示里,只有 131 条(26.4%)在 17 次运行中结果始终不变 | 官网 |
| 精读 | 固定 PDDL 域配正负记忆:ALFWorld 134 集全对,步数 6.91 · arXiv:2610.30379 | 在不完全可观测的文本环境里,能不能让固定的经典规划器承担长程决策,而把 LLM 压到"读观测 | ALFWorld 六个任务类型全对:MemPlan overall 100%、平均 episode 6.91 步、在线 LLM token 0.906M | 官网 |
| 精读 | SARL:45K 样本、10 个基准均值 0.429,比最强基线高 24.3% · arXiv:2610.30435 | 搜索智能体缺的"搜索状态感知"——不知道自己已经拿到什么、还缺什么——能不能在训练期学会 | 10 个基准均值 0.429,比最强的单一基线 ASearcher(0.345)相对高 24.3%;次强的 Search-R1 为 0.342,ReSeek 0.308 | 官网 |
| 精读 | 匹配算力下按选项评分高 0.028,但只从 reranker 初始化才成立 · arXiv:2610.30970 | 闭集决策(选工具、判断一句话是否被检索段落支持、判意图)用的编码器最小能多小 | 匹配算力下按选项读法更准:P − J-comp 在 pub15 上 +0.028 [+0.015, +0.042] | 官网 |
| 精读 | 有效模拟对话率 46.2%,是既有最强模拟器的 3.28 倍 · arXiv:2610.31512 | 用户模拟器能不能既忠实执行复杂任务意图、又像真人那样说话,而不是在"会跟任务"和"像人"之间二选一? | 有效率 46.2%:是已发布最强模拟器 SFTUser-14B(14.1%)的 3.28 倍,是自家 SFT 起点(27.8%)的 1.66 倍;覆盖 88.0% | 官网 |
| 精读 | 五种上下文增强的最大增益也不达标:21 个组合里教师解释仅 8 个通过符号随机化 · arXiv:2610.30983 | 推理时往上下文里插入内容带来的准确率提升,究竟是"把模型推向正确答案",还是"没有方向地扰动预测 | 加信息的方法确实涨分:MedQA 上 Teacher-explanation 在 7 个模型中的 6 个上把句均准确率提高 2.0–9.3 分 | 官网 |
| 精读 | 分层 RAG 控制编译成两次前向:延迟降 35–41%,动作序列 84–89% 全等 · arXiv:2610.30664 | 一个有界深度的语法约束 LLM 控制器,能不能不逐个 token 解码 | 在 QASPER 的四个 split 上,编译控制与串行控制动作序列完全一致的比例为 84–89%(A 80/90、B 101/120、D 79/90、E 52/60) | 官网 |
| 精读 | 审计斯洛伐克语 FineWeb2:7 条发现 6 条过阈值,但基线每轮更多 · arXiv:2610.31636 | 一个只有只读工具、提示词里不提任何缺陷类别的 LLM 智能体 | 三次运行分别用掉 197、180、173 次检查(预算 300),产出 2、4、3 条发现;去重后 7 条选择器按文档重叠与嵌套合并成 4 类现象:免费托管子域上的内容农场 | 官网 |
| 值得扫读 | 98 个里程碑中 25 个藏有未言明的依赖:带隐藏名的构建单元失败 80.6% · arXiv:2610.30635 | 当基准用自然语言写任务、却用上游项目自己的测试打分时,有多少测试依赖了描述里根本没写、也推不出来的名字 | 25/98 个里程碑含至少一个硬隐藏依赖,共 142 个隐藏名;受影响的必需测试占全部 580,039 条的 0.6%,但高度集中:go-zero 15/23 个里程碑 | 官网 |
| 值得扫读 | 成对评测漏掉的那一项:跨提示方差占比 0.34–0.64,人类参照近 0 · arXiv:2610.31090 | 成对比较会把同一提示下所有回答共享的那部分分数抵消掉,这部分到底有没有人类质量含义 | 六个核心奖励模型的跨提示方差占比在 HelpSteer2 全量提示上是 0.34–0.64,在更干净的单轮子集上是 0.28–0.45 | 官网 |
| 值得扫读 | 工具抬高准确率也拉宽措辞敏感度:分子任务中位极差 0.17 对 0.02 · arXiv:2610.31148 | 给模型工具之后,两个模型之间的比较是变稳了还是更依赖问题措辞,这个变化到底来自读答案的方式、来自推理 | 分子任务上,纯文本工具循环的中位极差 0.17,同样报告直接给出时只有 0.02:信息一样,差别只在模型要不要自己去取 | 官网 |
| 值得扫读 | 判官身份解释的方差约为提示策略的 7 倍:η²=0.087 对 0.012 · arXiv:2610.31172 | Chain-of-Thought、角色设定这类在英文基准上推荐的判官提示策略,换判官 | 判官身份解释 η²=0.087 的分数方差,提示策略只有 0.012,约 7:1;judge×strategy 交互 η²=0.056,比策略主效应还大 | 官网 |
| 值得扫读 | ReflectPO:Qwen3-8B 总体 45.4,高出最强基线 2.6 点 · arXiv:2610.30933 | 长程工具调用里错误会沿决策链累积,能不能让智能体自己发现偏航并从出错状态续跑,而不靠推理期的外部裁判? | Qwen3-4B 上总体从 33.2 升到 36.6(BFCL-v3 33.9→36.9,τ²-bench 31.3→36.0),超过最强基线 GiGPO 的 35.3 | 官网 |
| 值得扫读 | 7 个模型 125 探针:留存 62.4%–100%,88.6% 的失败是记得却不遵守 · arXiv:2610.31314 | 模型能复述一条约束、却不再拿它约束生成,这种"记得却不遵守"能不能被单独测出来,而不是混进"忘了"里? | 严格留存跨模型从 62.4% 到 100.0%:DeepSeek-v4-Flash 100.0、GPT-5.4-mini 98.4、DeepSeek-v4-Pro 96.0 | 官网 |
| 值得扫读 | 87 人 291 对判断:记忆版回答仅 38.7% 被偏好,奖励模型 72.8% · arXiv:2610.31272 | 给助手更多用户记忆,是否就换来用户更想要的回答?如果不能,现有自动评估器能不能替人判断? | 普通指令下记忆版只赢 38.7%,无记忆版 41.9%,平局 19.4%;保守指令 43.3/40.6/16.1;激进指令 34.6/49.3/16.2 | 官网 |
| 值得扫读 | 同一 1% 插入:固定分块重算 100%,内容定义分块低于 30% · arXiv:2610.31019 | 文档改一版,RAG 索引里到底有多少 embedding 输入必须重算?分块策略的差别有多大 | 冻结参数下重算比例:中文 68.4%(固定)/55.7%(递归)/54.0%(CDC),英文 57.4%/37.9%/42.8%;对应召回中文 97.4/98.3/98.3 | 官网 |
| 值得扫读 | RetiJev:9B 版 158 ms 出答案,指南分级领先 10.4–23.0 分 · arXiv:2610.30947 | 把眼科临床决策从"生成答案"改成"给候选答案打分",能否在准确率不降的前提下把延迟压到床旁可用 | 指南分级全面领先:三个尺寸在"没见过的渲染器"写出的病历上得 95.9%–97.3%(Grading-OOD),在阈值附近 | 官网 |
| 值得扫读 | 越南语零样本 JEV 13 个设定里 11 个第一,去变音符号掉 9.51–15.47 分 · arXiv:2610.31422 | 专用决策模型的零样本能力搬到越南语分类上还剩多少,标签描述用英文、越南语还是双语 | 英文标签下 JEV 最强:13 个设定里 11 个第一,12 个共同设定均值 69.22,Quyet 53.61、LAYA 43.23、GLiNER 31.26 | 官网 |
| 值得扫读 | 三款 WhatsApp 分诊机器人都在用户淡化症状后降级,5,000+ 轮模拟复现 · arXiv:2610.30412 | 在用户语言混杂、常常只回一个错拼的词、又会在多轮里不断淡化症状的真实分诊场景 | 主失效模式是"降级"(de-escalation):首轮正确识别急症(18 周阴道出血、32 周胎动减少、耳部感染后疑似脑膜炎),用户在不提供任何新临床信息的情况下淡化症状后 | 官网 |
| 值得扫读 | 自奖励论证让翻转率 14.3%→6.6%,MORABLES 准确率反跌 3.1 点 · arXiv:2610.30349 | 把"论证质量"当作奖励去训练模型,到底提升了道德判断,还是只训练出了一种更爱下判决的说话方式? | 在 IBM-ArgQ-30k 的 15,000 个人类偏好对上,4B 判官与 31B 判官的 resolved accuracy 分别为 78.5% 与 80.4% | 官网 |
| 值得扫读 | 引用检测 F1 升到 0.841,不可恢复引用的正确弃答 31.0%→92.4% · arXiv:2610.30355 | 一条引用"是错的"和"它原本指向哪篇真实文献",能不能分成两个判断,并在找不到唯一来源时正当弃答? | 换同一个 GPT-5.6 Luna 后端,检测 F1 从 CiteAudit 的 0.762 升到 0.841(精确率 0.875 对 0.751 | 官网 |
| 值得扫读 | 只在会复用的偏好上提问:APA 用 27.6% 的提问量拿到 84.2% 的收益 · arXiv:2610.31107 | 一个长期服务的 web agent,该去问哪些"当前任务用不上、但以后会反复用到"的偏好? | 主表上 APA 的净效用 6.755,最强基线"当前任务 VoI(公开信念版)"为 6.664,配对差 0.091(95% CI [0.019,0.174]) | 官网 |
| 邻近跟踪 | 1,913 条主张上直接回答问题的反而更不准,聚合分把它盖住 · arXiv:2610.30504 | 一个事实核查基准的分数,被「问哪些问题、在什么条件下判、哪些来源算证据」这三个设计决定影响多大 | 标签分布:Supported 929 条(48.6%)、Refuted 250 条(13.1%)、NotEnoughInfo 559 条(29.2%) | 官网 |
| 邻近跟踪 | 十文档只移金文档:Transformer 首因 +0.052,状态空间模型 ≈0 · arXiv:2610.31135 | 长上下文问答里"证据放中段就掉分"这条曲线,是 Transformer 专属,还是所有序列混合器共有? | 家族差异成立:Transformer primacy +0.052(95% CI [0.032, 0.072]) | 官网 |
| 邻近跟踪 | IQuest-Q1:320B/15B 激活,编码基准落后 Claude 9.1 分 · arXiv:2610.30949 | 把一个大稀疏 MoE 专门练成命令行(CLI)智能体,预训练稳定性 | 编码主力项:DeepSWE v1.1 得 64.6(GLM-5.3-Flash 63.4、DeepSeek-V4-Flash-0731 54.4 | 官网 |
| 邻近跟踪 | 合成 0.95 小时微调降 MER 1.88 点,GRPO 只再降 0.03 点 · arXiv:2610.30860 | 只用合成的尼泊尔语—英语混说语音做适配,ASR 能不能迁移到真实播客里的自发口语;在此之上 | 冻结测试集上,零样本基线 23.40% MER、35.89% SPER;仅用 0.95 小时合成语音做 SFT 后降到 21.52% 与 28.77% | 官网 |
| 邻近跟踪 | 前向写入原生 n-gram 表:3.5 万次写入不崩,跨位置取用失败 · arXiv:2610.31125 | 把"边用边学"的写入成本从一次反向传播降到一次前向,同时保住"可清空回滚"和"能定位到行"这两个性质 | 2025 年下半年 64 个新闻事件(DEV64)上,100M token 检查点的"读自己文档的记忆 vs 读空记忆"收益为 0.068 nats/token | 官网 |
| 邻近跟踪 | 真值标到证据跨度上,R-Precision 从 0.77 变 0.94、排名未动 · arXiv:2610.31606 | 把相关性标在"证据跨度"而不是"某一个 chunk"上,检索分数会怎么变——是检索变好了 | 选定配置(384 token、20% 重叠、混合 RRF 加交叉编码器重排)在 18 条查询中 17 条把可接受证据检索进前 3,Recall@3=0.94 | 官网 |
| 档位 | 标题与 arXiv | 这一篇在问什么 | 关键数字 | 来源 |
|---|---|---|---|---|
| 精读 | 11 个混音问题可查询,正反判别 83.9%、严重度相关 0.971 · arXiv:2610.30783 | 音频语言模型能给出一段关于混音的对话建议,但它到底能不能对「这条人声是不是太湿」这种具体问题单独作出判断 | critic's exam:adapted MixJudge 全项最高——问题检索 T→A 的 R@1/MRR 为 0.164/0.321、A→T 为 0.117/0.297 | 官网 |
| 精读 | 文本-音乐对齐拆成 5 维原子概念,人声维度 AUC 0.966 · arXiv:2610.31083 | 一段音乐和一条多属性 caption 的对齐程度,能不能不压成一个相似度数字,而是逐条说清「曲风对不对 | 概念级对整句级:mood/theme 的 AUC 从 0.776 升到 0.943、vocal 从 0.870 到 0.966、usage 从 0.718 到 0.842 | 官网 |
| 精读 | 识别器对真人极罕见词漏识 32.9%,三识别器裁定后 TTS 错误降为 1/2.8 · arXiv:2610.31470 | TTS 报告里那些「罕见词读错」的错误率,有多少其实是打分用的那个识别器自己听错——也就是验证器的地板在 | 验证器在真人语音上就已经漏词:C 在 LibriSpeech 上漏 1.5% 的常见词、32.9% 的极罕见词;FLEURS 上是 3.2% 与 66.7% | 官网 |
| 值得扫读 | 场景感知语音克隆:场景对齐 0.637 与参考相似度 0.757 由两套策略各取最高 · arXiv:2610.30470 | 对着一段手机录的音做克隆,能不能既保住这个人的音色,又让语气和声学环境跟着画面里的场景走 | 331 例跨场景基准:voice-clone 的场景对齐全场最高(audio–audio 0.637、audio–image 0.282) | 官网 |
| 值得扫读 | EmoFI-TTS:人脸定情绪与强度,MEAD 强度准确率 64.4%、WER 6.9% · arXiv:2610.30477 | 不给情绪标签、也不给目标说话人的情绪录音,只给一张脸和一段参考音,能不能合成出情绪类别对、强度也对 | 客观强度准确率:本方法三档 76.4 / 42.8 / 74.1,不加权平均 64.4%;EmoSpeech 42.6 / 56.0 / 18.8(平均 39.1%) | 官网 |
| 值得扫读 | 仅文本修正器改坏自产草稿的 31.9%,带音频降到 2.6% · arXiv:2610.30385 | 把 WER 的净变化拆成「修好」「改坏」「插入」三股流之后,源音频到底给修正器添了什么? | 自纠场景下,仅文本修正把收到的无错草稿改坏 31.9%(合成)/16.3%(RuLibri)/12.8%(医疗),带音频后降到 2.6%/1.0%/2.3% | 官网 |
| 值得扫读 | SSL 特征清洗在重降质下与感知质量脱钩,ERI 把 PESQ 提到 2.82 · arXiv:2610.30869 | 把退化语音的 SSL 特征「洗干净」再拿去条件化语音恢复模型,这一步在什么退化强度上开始与听感脱钩? | VoiceFixer 官方测试集上 ERI 拿到最高 PESQ 2.82、ESTOI 0.71、LPS 0.92;UTMOS 3.86 排第二(SIDON 3.97) | 官网 |
| 值得扫读 | 冻结 LALM 配 FiLM+CfC,mIoU 从 15.80 升到 44.13 · arXiv:2610.31252 | 录音最长 30 分钟、目标片段只占很小比例时,怎么让冻结的音频-语言模型把查询描述的那一段框出来? | MOSS-Audio-8B 上 mIoU 38.52、R@0.5 40.61;对照 direct 15.71/14.79、sliding-window 26.39/14.79 | 官网 |
| 邻近跟踪 | 80 个示例把效价 R² 从 base 的 0.110 提到 0.427 · arXiv:2610.31202 | 不改权重、只在推理时塞示例,能不能把 LLM/MLLM 从音乐音频里预测连续效价(valence | 零样本很差:GPT-5 在 MER60 上 R²_A=0.699 但 R²_V=−0.801;Qwen3-Omni 30B 为 0.764/0.037 | 官网 |




python -m src run-identifiability-experiments --config configs/identifiability.json ... --workers 8。纯 CPU,作者机器(Apple M5、10 核、16 GB、Python 3.13.12、8 worker)上一次重生成 267.30 秒、峰值内存 1.55 GB。达标判据是:safe 与 harmful 的单侧精确下界各 ≥0.80,且累计 harmful 误部署的上界 ≤0.05。










run.sh 约定,不给解法架构。harness-adaptation-review-artifact.zip,含 81 个匿名源码快照、冻结 prompt 与数据划分、分析脚本和 checksum manifest。关键配置:编码与游戏各 24 小时墙钟上限、工作区 ≤1 GiB、修复至多 10 轮、bootstrap 10 万次重采样(种子 20260902);成本按 2026-09-13 冻结的标准 API 价目重算。https://github.com/yebof/quant-agent(原文第 1 页脚注给出,称代码、prompt 与重放 harness 开源)。关键配置:宇宙为 80 只美股 + 21 只 ETF,输入为 9 个 RSS、SEC EDGAR、9 条 FRED 序列;门禁 12 条不变量、学习 20–300 字、每季 ≤3 个智能体、每智能体 ≤10 条;校准表窗口 45 天。

https://github.com/THU-KEG/RIDAR(原文摘要给出)。关键配置:Analyzer 为 GLM-5.3 + Claude Code,Verifier 为 GPT-5.6-Sol + Codex;所有运行在隔离 Docker 里,任务规格写 24 小时预算但不强制,实际可多占一块 GPU 并跑到 48 小时,以便让超限行为可观测。




























[ " A " , …,左侧标注"临界路径正比于输出长度"。(b) 编译执行:共享 prompt KV 只缓存一份,先做一次 root prefill 定下 trunk 的 A,再把 A/B/C/D 四条分支拼成一次 block-causal probe,下方灰绿网格示意每条分支只看 prompt 与自己祖先的掩码结构,右侧标出"1 次预填充 + 1 次 probe"。(c) 实测栏:fresh split D、7B 的每题延迟,串行 0.56 s、编译 0.36 s(−36%),虚线给出 unary 下界 0.29 s,并列出已验证项——输出 token 0、协议失败 0、fp32 重放的平均 logit 偏差 0.05(arXiv:2610.30664)。







arxiv.org
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.