
本期把该账号 10 月 26 日三栏 135 篇新提交逐条筛完,收录 34 篇:3,420 次运行里 31.1% 的任务成功却违反 harness 判据,同一个 harness 的名次会随模型从 91.21 翻到 60.45,而只看增益的技能退役规则会把 57.5% 还没学会的技能判成已内化。
| 档位 | 标题与 arXiv | 这一篇在问什么 | 关键数字 | 来源 |
|---|---|---|---|---|
| 精读 | 受测对象换成 harness:31.1% 的任务成功却违反了履约判据 · arXiv:2610.32285 | 任务成败是模型与执行工具共同产生的,该怎么分别给两者打分并归因失败 | 两层判据全过 8.4%(286/3,420),agent 层全过 39.5%,差额 31.1% | 官网 |
| 精读 | 同一个 harness 的名次随模型翻转:Codex 在 Qwen 上 91.21、在 Kimi 上 60.45 · arXiv:2610.32483 | 排行榜的分数把「模型不行」「不会用这个 harness」「harness 有限制」混成了一个数 | Cross-Model Fit:OpenCode 87.48、Pi CLI 77.13、Codex 73.62;Pi 与 Codex 差 3.50,区间跨零 | 官网 |
| 精读 | 只改投递方式,九个 agent 成功率全部下降:29.7%→26.0% · arXiv:2610.32429 | 子代理结果在主代理改完文件之后才到,它能不能判断这条结果还有没有效 | DRS 最高 45.1(Claude Sonnet 5)、均值 32.6;Oracle 96.4–98.8 > Native 19.2–39.7 > Frozen 3.7–16.1 | 官网 |
| 精读 | 同一份反思:放进权重 65.5%、放进上下文 59.6%、基线 51.7% · arXiv:2610.31846 | agent 当场能修错,可跨会话就忘;教训该存在哪一层 | GAIA 55.8% 对 38.8%(+17.0 个百分点,p=3.50×10⁻⁸);pass³ 18.9% 对 9.7% | 官网 |
| 精读 | 缓存重试报出 27 次「成功」,真正完成的只有 15 次 · arXiv:2610.31916 | 授权已变、外部效果不确定时,恢复一个有关键后果的动作要判断什么 | 账本对账 42/42 通过,其余策略 30–36/42;缓存重试 12 条重复派发超额 | 官网 |
| 精读 | 增益接近零有相反两种含义:层级规则移除非内化 0%、增益带移除 57.5% · arXiv:2610.32322 | 技能库按模型退役技能时,该用什么判断「已经内化」 | 层级规则移除已内化 77.1%(比增益带多 15.9 个百分点);基准得分差只有 −0.8 [−3.1, 1.7] | 官网 |
| 精读 | 600 个任务流:63.17% 对记忆单用 59.83%、技能单用 50.50% · arXiv:2610.32295 | 冻结模型下,记忆与技能能不能互相喂养,并让结果反过来调检索影响力 | 换骨干仍为正(1.7B 13.50%→27.67%、GPT-4o-mini 28.33%→40.00%);关掉结果回流 59.67% | 官网 |
| 值得扫读 | 成对反事实下 GO 走对 92%、NO-GO 只 19% · arXiv:2610.32305 | 诊断已经算出「不该继续」时,agent 会不会停手 | NO-GO 19%([8, 30])对 GO 92%([86, 97]);加「允许停」后 23%→79%,GO 82%→67% | 官网 |
| 值得扫读 | 只改工具输出的措辞,验证器 30/30 接受同一个假答案 · arXiv:2610.32110 | 工具算得对但话说错了,agent 与验证器会不会一起被骗 | 越界主张 100%→8%(+92 个百分点);ID 命名空间族只从 100% 到 94% | 官网 |
| 值得扫读 | 记忆检索均值 55.1,叙事型召回却落后 3–11 分 · arXiv:2610.32752 | 检索之后要不要再用图结构复核一次 | 八列非加权均值 55.1(HippoRAG-v2 49.7);MH-DocQA 63.0 对 66.0、Detective QA 46.7 对 57.7 | 官网 |
| 值得扫读 | 58.8% 的轨迹至少越界帮一次忙,坑任务里 43.7% 造成伤害 · arXiv:2610.31985 | 智能体出于好意绕过审批流程,会带来什么后果 | 越界率 58.8%(95% CI [54, 63]);只限制请求方无效(伤害 44.7% 对 44.4%),限制动作范围才有效 | 官网 |
| 值得扫读 | 整段决策遗憾 1.80 对 11.16,而「给真值似然」只到 0.31 · arXiv:2610.32181 | 「还要不要再查一次」能不能变成一个含成本的判定 | 受控四域首决策遗憾 0.86/0.97/0.73/0.87(最强基线 4.39/4.03/3.40/4.43) | 官网 |
| 值得扫读 | 能力库让 gpt-5.4 从 29% 到冷启动 67%、热启动 91% · arXiv:2610.31789 | 一次任务的解法怎么沉淀成可复用、可验证的能力 | 30 题;热启动每题 token 0.38M–0.40M 对单次基线 1.29M–1.47M | 官网 |
| 值得扫读 | 12 个设置里 10 个成功率最高:学生历史配教师动作前缀 · arXiv:2610.31918 | 智能体蒸馏该在历史层还是动作前缀层跟学生 | ToolQA 85.2(全学生 79.1,初始 19.8);全学生平均落后 10.2 个百分点 | 官网 |
| 值得扫读 | 叶子层复用让宿主 token 降 23.09%,代价挪到 1.7B 控制器 · arXiv:2610.32412 | 递归 agent 里最高频的「把子任务翻成动作」能不能切出来复用 | 配对成功集上 token 降 23.09%、调用降 22.54%;控制器每回合 6,900–9,952 token 未合计 | 官网 |
| 邻近跟踪 | 四基准平均 61.86%,课程从 0.18% 推到 61.86% · arXiv:2610.32308 | 长程多步规划能不能收回模型内部,用后训练代替外部搜索 | 同规模专用模型 19.03%,高 42.83 个百分点;最后一次策略优化 29.19%→61.86% | 官网 |
| 邻近跟踪 | 142 笔成熟投资 ρ=0.451,无约束模型 0.381:差别在「只降不升」 · arXiv:2610.32380 | 模型直接给分有三个病灶,能不能用代码把它关进笼子 | ρ=0.451 [0.317, 0.570]、减记 AUC₀=0.709;佐证率 45.8%,减记组 37.8% | 官网 |
| 邻近跟踪 | 实机 409 炮、出束率 86.80%;同一实验台对人工 86.11% 对 83.83% · arXiv:2610.32370 | 非平稳响应下,模型该被关在证据与动作两端的什么位置 | 相邻动作的结局冲突率 54.7%,参数相同也有 44.1%;加检索后方向一致率提升 22.4–42.7 个百分点 | 官网 |
| 邻近跟踪 | 键分出 +53.3 个百分点,配平一个便宜变量后区间含零 · arXiv:2610.32620 | 跨实例经验复用的「键」,能不能真的迁移到没见过的实例 | +53.3 个百分点 [+47.6, +57.9] → 配平后 +2.7 [−3.0, +8.3] | 官网 |
| 邻近跟踪 | 技能库当冻结模型的外挂:114 个候选补丁只接受 10 个 · arXiv:2610.32481 | 混淆集中在相邻标签对上,能不能用可插拔的成对技能去修 | 总体准确率 46.80%→59.13%;但演化所在数据集 UAR 49.68 低于冻结 51.59 | 官网 |
| 档位 | 标题与 arXiv | 这一篇在问什么 | 关键数字 | 来源 |
|---|---|---|---|---|
| 精读 | 评分器整体 F1 .916,同一组提示效应它给 +.093、参考评者给 +.023 · arXiv:2610.31678 | 要验的是「这次比较」而不是「这个评分器」 | 同键 300 组:自动 +.093 对参考 +.023,区间 [−.059, +.053];翻转符号只需改 7 个标签 | 官网 |
| 精读 | 同一批 2,250 条对话只换打分口径:42.1% 变 81.3% · arXiv:2610.31679 | 评测口径对结论的影响,是否大于任何建模杠杆 | 差 39.2 个百分点(p<10⁻⁵⁰);管线信息六条件 GLMM p=0.263 不显著 | 官网 |
| 精读 | 单序 66%、双序 43%:位置偏差 23 个百分点 · arXiv:2610.32114 | 让模型判「哪份提案更严谨」,它到底在按什么判 | both-orders 77.9% 对 per-order 86–88%;人类验证后分层 86%(95% CI 81–91) | 官网 |
| 精读 | 冻结的记忆库掉到 13.5–14.9,活库守在 18.9–21.5 · arXiv:2610.31840 | 跨会话的工具调用记忆该不该更新、淘汰、按用户隔离 | 热身之后平均接受 token 19.96 对冻结 15.70(+27%);副作用门把不可逆执行压到 0 次(朴素投机 124 次) | 官网 |
| 精读 | 能力边界:45.5% 对上一版 40.0%,随机选干预点 58.7%、结构化 65.9% · arXiv:2610.32802 | 在线蒸馏该在哪里给指导,以及学生接不接得住 | ALFWorld 45.5±2.0(上一版 40.0±3.1、普通在线蒸馏 22.1±2.8);WebShop 58.3±1.5 | 官网 |
| 精读 | 40 次长对话回放:重复 65%→0%、静音 100%→7.5% · arXiv:2610.32349 | 全双工语音模型能不能撑住几十分钟的对话,崩的时候按什么顺序崩 | 失败起点随窗长线性:静音 1.63W、无意义输出 2.70W;只留第一个缓存条目即让 40/40 免于无意义输出 | 官网 |
| 精读 | 配音同时对上时长、停顿与口型:BLEU 42.34、停顿 IoU 0.551 · arXiv:2610.32042 | 译文忠实、按时说完、对上口型,这三个约束能不能一起解 | ASR-BLEU 42.34(最强基线 38.44);停顿 IoU 0.551(0.307);主观自然度 3.99(3.54) | 官网 |
| 值得扫读 | 目标选择 119/128、下游判断 24/128、整段动作 68/128 · arXiv:2610.31686 | 激活干预让输出对了,模型在别的计算里真的用了那个条件吗 | 下游判断与原生逐条 token 相同(24/128);使用端直接陈述条件时为 96/128 | 官网 |
| 值得扫读 | 120 题、11 学科、10 个模型:最高 80.9 分,一次 20.79 美元 · arXiv:2610.32441 | 科研任务既算得对、又说得清、还跑得稳,能不能分渠道测出来 | 最终分 80.9 对 67.3;Pass@0.95 26.0%;「报告强执行弱」占 0.14–0.48 | 官网 |
| 值得扫读 | 只给主题名,MMLU 37.5→47.7,但域外 MATH-500 退 4.9 · arXiv:2610.32770 | 监督压到只剩主题名,模型还能不能自我改进 | 平均 38.3→45.6;同数据做监督微调 40.0、GRPO 39.3;75% 错答注入下只掉 1.9 分 | 官网 |
| 值得扫读 | 一个 16M 适配器覆盖整条延迟前沿:32.5/34.8/35.6 · arXiv:2610.32214 | 同传模型的「什么时候说」能不能在推理期调 | 尺度 0.5 时 BLEU 34.4、延迟 2.16 秒;去掉语音正则后相似度 0.391→0.337 | 官网 |
| 邻近跟踪 | 闭卷复现 68.25%,改一个前提的外推题 74.42% 到 18.60% · arXiv:2610.32575 | 研究级任务里「差一个子问题」有多普遍 | SAcc 88.33%–79.66% 对 WAcc 49.21%–68.25%;允许工具后 DeepSeek 与 Qwen 各 +20.93 个百分点 | 官网 |
| 邻近跟踪 | 五个分数里唯一没赢的是合规率:52.25% 对 62.01% · arXiv:2610.32435 | 领域用户模拟器能不能既贴画像、又守业务合规 | 困惑度 17.49(无画像 58.48);口语自然度 4.97 对 GPT-5 4.21 | 官网 |
| 邻近跟踪 | 60 集剧本套路重复 21.5%→14.6%,语义检索只召回 7/27 · arXiv:2610.32002 | 长剧集越写越像,记忆该按相似度取还是按未来目标取 | 逻辑均分 82.5 对 74.0;稠密检索与图检索都只命中 27 个关键子事件里的 7 个 | 官网 |

















arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.