奇绩信号Alpha Sight 2026年8月10日【文字版】

本期判断

• 第一条线索：中间状态开始成为训练对象。 EnvACE 让策略自己排练环境反馈，DASH 按 divergence 的时间结构分配监督，DyPES-VLA 用未来帧预测约束跨身体共享的 dynamics prior。
• 第二条线索：最终准确率不再够用。 TrajDebug 追踪错误生命周期，视觉审计用反事实观察定义 VEG，视频事件评测把答案拆成可执行 trace；这些工作都在问同一个问题：模型答对时，证据链是否真的成立。
• 第三条线索：系统接口决定了能力上限。 Beyond Top-K 证明文档单位和年份不能被随意切碎，HarnessOpt-Bench 说明优化器模型的影响大于编码 harness，BaKron 则把量化算法的理论并行度落到实际 kernel 和内存布局。

头条

1. TrajDebug：沿着错误生命周期定位长程 Agent 的真正致命节点 原文

认知提取

论文摘要

• 论文把 critical error detection 定义为：在失败轨迹中找到最早、且足以解释最终失败的错误步骤；困难来自远距离上下文和多个并存的局部错误。原论文
• TrajErrBench 收录四百八十六条人工标注失败轨迹，其中 τ²-Bench 四百条、SWE-Bench Pro 八十六条；平均长度分别为二十九点三步和一百一十九点七步。原论文

核心方法

• 多粒度压缩：为同一轨迹生成高、中、低三种历史视图，使模型既能回看局部证据，也能保留跨步骤的任务约束。原论文
• 错误触发检测：每个错误必须同时具备可引用的错误承诺和被违反的参考对象，避免凭最终结果倒推一条没有证据的解释。原论文
• 错误状态分类：按照是否已解决、是否留下可观察终局痕迹，把错误分为 Clean Resolution、Costly Resolution、Manifest Active 和 Latent Active 四类；再用候选集引导因果归因。原论文

实验成果

• 三名标注者的 Fleiss κ 在 τ²-Bench 上为零点九一，在 SWE-Bench Pro 上为零点六七；可用标签比例分别为九十八点二％和九十一点九％，说明长程编码轨迹的判断难度显著更高。原论文
• TrajDebug 在作者报告的高级提示基线与既有诊断系统中取得整体最佳表现，并且在更长轨迹上保持更强鲁棒性；正文核心图按轨迹长度分桶展示了这一趋势。原论文
• 将诊断用于逐失败案例的定向指导和重新执行，平均成功率提升十点八个百分点；把失败记忆迁移到保留任务，平均提升五点七个百分点。原论文

总结与反思

• 结果总结：TrajDebug 将 Agent 调试从错误清单推进到错误生命周期与终局责任的追踪，TrajErrBench 也把这一任务从案例演示变成了可评测问题。
• 局限性：基准来自 τ²-Bench 和 SWE-Bench Pro 的失败轨迹，覆盖的工具环境与错误类型仍受原始任务分布约束；更开放的生产轨迹需要检验标注协议能否稳定迁移。原论文
• 前沿见解：下一代 Agent 监控器不应只报「哪里错了」，还要说明该错误是否被修复、留下什么债务，以及它是否仍是终局失败的最小解释。

2. The Illusion of Visual Tool-Use：视觉工具真的改变了答案，还是只增加了调用？ 原文

认知提取

论文摘要

• 论文在六个模型、五个 benchmark 上审计 visual tool-use，把增益分解为直接推理路径、工具观察介导路径和 action-induced shortcut。原论文
• 作者定义两种失配：Calling Without Looking，返回的观察并未因果影响答案；Looking Without Planning，观察有信息但调用时机和停止策略不连贯。原论文

核心方法

• 三级干预：policy-level 比较工具策略与直接推理；trajectory-level 在整条 rollout 中替换所有观察；step-level 只替换一个观察，在固定前缀下计算局部 Visual Evidence Gain。原论文
• VEG 定义为真实观察带来的性能变化减去反事实观察带来的性能变化，尽量排除「调用动作本身」造成的 shortcut；诊断还使用首次调用前的概率间隔、每次调用的 VEG、是否撞到调用上限和过度延伸率。原论文

实验成果

• policy-level 的工具增益高度依赖模型：Mini-o3 在五个 benchmark 上的提升为五点五、四点八、五点八、二十一点三和十一点九个百分点；Qwen3-VL-8B 的对应增益为六点九、五点零、三点八、十一点七和负三点七个百分点。原论文
• 在轨迹级随机裁剪污染下，Mini-o3 的五个 benchmark 准确率下降约五十点四至六十四点二个百分点；Qwen3-VL-8B 下降二十一点三至六十点七个百分点。相反，DeepEyes 与 Thyme 的变化接近零，说明调用并不必然意味着模型依赖了返回图像。原论文
• 在 V* benchmark 的 step-level 分析中，Qwen3-VL-8B 的 VEG 为零点一九八，但仍有五十六％的调用接近零贡献；其正向 policy-level 增益主要由 calibrated 轨迹贡献，而不是全体调用平均变好。原论文

总结与反思

• 结果总结：视觉工具的平均增益不能单独证明模型用了图像；真正有价值的是少数因果校准的轨迹。
• 局限性：VEG 需要白盒 token probability，实验主要覆盖 crop-and-zoom，不能直接外推到 OCR、分割、视频取帧或外部搜索工具。原论文
• 前沿见解：视觉 Agent 的评估应同时报告调用成本、观察介导的真实增益和停止策略，而不是只看「调用工具后答对多少」。

3. EnvACE：让 Agent 先在内部排练环境反馈，再决定是否真的调用工具 原文

认知提取

论文摘要

• EnvACE 在 BFCL-v4、τ²-Bench、VitaBench 和 FinMCP-Bench 上评估；训练阶段不依赖外部可执行环境，而是交替生成 tool call 和对应的 rehearsed response。原论文
• 训练使用 role-wise GRPO：同一共享策略的 Acting 与 Rehearse 两个角色分别计算 baseline，再从任务成功奖励共同更新。原论文

核心方法

• 训练时的历史更新为「当前历史 + 动作 + 自生成观察」，因此策略必须同时学习如何调用工具和如何预测工具响应；部署时只保留训练后的 student policy，不需要 Oracle 或额外环境模型。原论文
• 主实验以 Qwen3-8B 为基础，训练四百七十步，使用十六张 NVIDIA H20 GPU、每个 prompt 四条 rollout，最长三十个 turn；这些条件决定了结果更接近中等规模 Agent RL 的系统性验证，而非大模型普适结论。原论文

实验成果

• EnvACE-8B 在 BFCL-v4、τ²-Bench、VitaBench 上分别为四十六点零四、三十六点七和十六点零，整体分数三十二点九一；相对 EnvScaler-8B 高零点九九，相对 AWM-14B 高零点三七。原论文
• 在 FinMCP-Bench 上，TR、TP、TF1 分别为四十一点二三％、五十四点零四％和四十六点七八％；TP 与 TF1 均为报告中的最佳值。原论文
• τ²-Bench 的标准 GRPO 为三十一点二％，EnvACE 为三十六点七％，world rehearsal 带来五点五个百分点；共享参数相较分角色策略再提高一点二个百分点。原论文
• 测试时使用两次 rehearsal，在并行 TTS 设置下整体分数由三十六点七提高到四十点九；τ²-Bench 从三十一点四提高到三十八点零，说明内部世界模型不仅能服务训练，也能用于有限预算的候选筛选。原论文

总结与反思

• 结果总结：EnvACE 把环境交互的一部分从外部 rollout 变成策略内部的 world rehearsal，并在多个工具任务上得到稳定增益。
• 局限性：实验最高到 8B，任务集中在工具交互；更大模型、开放式网页操作和真实副作用环境仍未验证。原论文
• 前沿见解：如果 Agent 能在执行前生成可检验的环境响应，工具调用就可能从一次性动作变成带预演、筛选和回滚的决策接口。

4. ω-0：用潜在未来预测统一人形机器人的移动与操作 原文

认知提取

论文摘要

• ω-0 的输入是语言、当前视觉和本体状态，输出是由 SONIC 执行的未来全身动作 latent；支持第一视角 RGB、第三视角 RGB 和第三视角深度。原论文
• 作者采集 ω-HOME 数据集，包含四十点三小时、四千八百二十七个 episode、二十四项任务，记录同步 RGB-D、本体状态、全身 SMPL motion 与 controller-compatible action latent。原论文

核心方法

• 第一阶段用 whole-body FAST tokenizer 将连续全身动作离散成 action token，微调 Qwen3-VL-2B-Instruct，学习从语言、图像和视角 token 预测动作。原论文
• 第二阶段使用 joint video-action latent predictor：V-JEPA 编码当前图像，Wan encoder 表示未来视觉 latent，T5 提供文本特征，motion query 通过 video query 获取未来动态信息；DiT 再将这些条件去噪为全身 action latent。原论文
• 训练和部署都使用 RTC 与 receding-horizon；机器人连续执行动作块，同时缓存前一块动作以减少切换抖动。原论文

实验成果

• 在十一项真实家庭任务、每种方法每项任务十次独立试验中，ω-0_Omni 的成功率、平均分和任务进度分别为八十一点八％、三十六点七和九十点三％；ω-0_Ego 分别为七十九点一％、三十五点八和八十八点七％。原论文
• 对比基线中，ψ-0 成功率为四十四点五％，DiT4DiT 为四十三点六％，说明 ω-0 的提升不只是相对早期 imitation baseline 的差异。原论文
• 去掉 robot state 后，ω-0_Ego 成功率由七十九点一％降至六十点九％；去掉 future visual query 后降至六十四点五％；去掉 RTC 后为七十一点八％。这组消融把身体状态、未来 latent 与时间连续性分别钉在了结果上。原论文

总结与反思

• 结果总结：ω-0 将未来视觉预测压缩成动作生成的辅助信号，在一个 checkpoint 上完成移动、姿态和操作的并发控制。
• 局限性：任务数量与硬件平台仍有限，ω-HOME 的采集成本高；论文的十一项真实任务成功率不能直接等同于开放家庭环境的泛化能力。原论文
• 前沿见解：对具身模型而言，未来预测的价值不一定是生成逼真的视频，而可能是形成一个足以约束动作的低维可执行接口。

认知模型

5. DASH：用 divergence 的时间结构决定推理监督该延伸多远 原文

认知提取

论文摘要

• DASH 面向 RLVR 与 OPSD 的稀疏—稠密监督矛盾，把每个局部 forward KL 与序列均值的差转成 adaptive gate，再进行反向多步聚合。原论文
• 实验使用 Qwen3-1.7B、4B、8B，训练数据为二万九千四百三十四道数学推理题，评测 AIME 二零二四、AIME 二零二五与 HMMT 二零二五，指标为 Avg@12。原论文

核心方法

• 对每个 token 计算 teacher—student 的 forward KL，裁剪后与序列平均比较；低于平均的 token 获得更大的传播 gate，高于平均的 token 获得更短的监督 horizon。原论文
• 反向聚合把当前局部信号与下一位置的累计信号相加，最终对所有位置求平均；DASH 复用 OPSD 已经算出的 teacher/student 分布，不增加额外 forward pass。原论文

实验成果

• DASH 在九个模型—benchmark 组合中全部取得最高分。相对 vanilla OPSD，三个模型的平均分分别由四十一点八七升至四十五点零七、由六十三点六零升至六十五点零零、由六十四点八零升至六十六点四零。原论文
• 1.7B 模型上，DASH 在 AIME 二零二四、AIME 二零二五和 HMMT 二零二五分别达到五十八点三、四十五点八和三十一点一；8B 模型对应为七十八点九、七十一点四和四十八点九。原论文
• 固定传播系数的最佳宏平均为四十三点六三，DASH 为四十五点零七；反向 gate 只有四十二点一零，说明收益主要来自 discrepancy-conditioned allocation，而不是简单放大平均系数。原论文
• forward KL 的宏平均为四十五点零七，较 JSD 高六点八四，较 reverse KL 高三点六零；使用过度压缩的 top-1 加 tail 后，DASH 得分降至三十四点八三。原论文

总结与反思

• 结果总结：DASH 把 token-level distillation 从静态加权改成了按 rollout 结构动态分配监督 horizon，并在三个模型规模上都超过匹配的 OPSD。
• 局限性：实验只覆盖三个数学 benchmark 与 Qwen3 三个规模，报告以二百步内最佳 checkpoint 为主，单次基线之间的统计显著性仍需更多 seed 验证。原论文
• 前沿见解：推理训练的关键可能不是再增加一个 teacher，而是让已有 teacher 信号携带「应该影响多远」的时间结构。

多模态

6. The Low-Frequency Trap：视频模型连简单的事件记账也会失真 原文

认知提取

论文摘要

• 研究构造 Bounce Ball、Blinking、State Machine 三类受控视频，在二千一百九十段视频中改变事件数 N 与频率 F，同时保持渲染和语义结构固定；每段视频附带可执行 ground-truth trace。原论文
• 评测同时报告 final exact match、trace precision、trace recall、F 一、Visual Observation Ratio、Accidental Correctness 和 Reasoning Failure Ratio，另定义 N×F 平面的八十％可靠运行边界。原论文

核心方法

• 每类任务设置事件数从零到十二、频率从零点五到四 Hz 的网格；每个 N—F 单元生成十段二十四秒视频，共三个领域各七百三十段。原论文
• 论文把「总数答对」和「事件序列恢复」分离，因而能区分漏报、幻觉事件、累计错误、偶然正确和时间错位；这是普通视频问答 benchmark 不会暴露的误差结构。原论文

实验成果

• Gemini 三点六 Flash 在八十％可靠阈值下，State Machine 可在零点五和一点零 Hz 可靠数到十二个事件；一点五 Hz 时边界收缩到两个事件，更高频率通常只剩一个事件。Blinking 没有可靠的正计数区域。原论文
• 三类任务宏平均 final EM 为二十一点一％，trace F 一为三十六点四％；Bounce Ball、Blinking、State Machine 的 final EM 分别为十九点六％、六点四％和三十七点一％。原论文
• 在高计数、高频率区域，最终计数正确率只有零点二％，trace recall 为十八点一％；增加采样把 Bounce Ball EM 从十九点六％提高到二十九点三％，但 trace F 一反而只有三点七％，说明答案改善可能来自不忠实的中间记录。原论文

总结与反思

• 结果总结：这项工作把视频模型的 temporal bookkeeping 变成可执行 trace 评估，揭开了「总数正确」和「中间过程忠实」之间的断裂。
• 局限性：合成视频事件规则且干净，真实视频没有受控频率，也没有 trace-level 评估；主要合成实验覆盖的系统数量仍有限。原论文
• 前沿见解：视频模型的下一道门槛不只是更高采样率，而是能否维护一份可回放、可纠错的事件账本。

具身智能

7. DyPES-VLA：共享 dynamics prior，动作却保留各机器人自己的身体语法 原文

认知提取

论文摘要

• 方法先用未来帧生成监督 query states，使其编码 motion、contact 和 scene change；再将这些 shared dynamics prior 解码到各机器人 native action space，不要求人工预处理成共同动作格式。原论文
• 训练涉及 RoboTwin 2.0、RoboCasa-GR1 和 LIBERO 三类平台；现实平台包含 Franka Research 3、COBOT Magic 双臂和 Unitree G1。原论文

核心方法

• VLM 接收视觉、语言、embodiment metadata 和 learnable query tokens，形成共享 query states；future head 预测未来帧，action head 用 flow-matching DiT 生成 native action chunk。原论文
• 两阶段训练先用无动作视频学习 dynamics prior，再用带动作示范进行 cross-embodiment co-training；动作损失与 future loss 联合优化。推理时移除 future head，只保留动作头。原论文

实验成果

• 单一 checkpoint 在 RoboTwin 2.0 clean、randomized 和平均设置分别达到八十八点七八、八十九点二六和八十九点零二；RoboCasa-GR1 为五十九点二五，LIBERO 平均为九十八点零。原论文
• 三种现实 embodiment 的三任务平均成功率为七十五点六％，高于 ACT 的三十二点四％和 GR00T-N1.6 的五十九点六％；FR3、COBOT Magic、G1 三者的表现差异也说明身体形态仍是主要难点。原论文
• 去掉 future prediction 后，RoboTwin、RoboCasa-GR1、LIBERO 分别降至八十六点六七、五十六点七五和九十六点一；用 shared dense head 替代 MoE 后分别为八十七点八五、五十七点一七和九十六点八。原论文

总结与反思

• 结果总结：DyPES-VLA 用 future prediction 学共享动力学，用 MoE 保留身体特定控制，在仿真和三类真实平台上证明了单 checkpoint 的可行性。
• 局限性：真实任务数量、机器人种类和数据规模仍有限；高分主要来自受控任务套件，不能直接替代开放环境的长程泛化验证。原论文
• 前沿见解：跨 embodiment 的统一不应追求统一动作，而应统一对世界变化的预测，再把预测翻译成各身体能执行的动作。

AI4Science

8. Kastor：用大步长预测和时间超分辨率压住 PDE surrogate 的误差累积 原文

认知提取

论文摘要

• Kastor 将 Walrus physics foundation model 改造成生成式 surrogate，核心组件是两阶段推理、Mean Prediction Regularization 和 Gradient Difference Loss。原论文
• 论文在 The Well 的十个二维数据集上评测，以 EnsMeanRMSE、fCRPS、Spread-Skill Ratio 和 Log Spectral Distance 衡量误差、校准与物理结构。原论文

核心方法

• 第一阶段训练时间 stride 为四的 causal low-resolution model，第二阶段用 non-causal temporal upsampler 恢复中间状态；边界状态保持不变，减少 rollout 步数而不牺牲完整轨迹。原论文
• MPR 对零噪声条件增加 MAE 监督，使生成模型的确定性输出接近条件均值；GDL 直接惩罚预测和真实场的空间梯度差异，以改善尖锐结构和频谱一致性。原论文

实验成果

• 相对 Walrus fine-tuning reference，Kastor 平均降低 fCRPS forecasting error 四十二点九％，并在十个数据集中的八个取得更好的 VRMSE；τ=四在十个领域中的八个有利。原论文
• τ=四配合半尺寸 upsampler 时，长时域计算成本约降低三十七点五％；对 T 大于八的完整轨迹，时间超分辨率优于 block-wise autoregressive。原论文
• MPR 对所有数据集和 lead time 都有帮助，加入 MPR 的 FGN 平均优于 MAE baseline 十五％；GDL 在 Acoustic Scattering Maze 上带来最高十三点三％的 fCRPS skill score 改善。原论文

总结与反思

• 结果总结：Kastor 把高效推理、生成校准和物理梯度约束组合起来，在 PDE 长时域预测上同时改善误差和效率。
• 局限性：校准仍不理想，部分轨迹会出现非物理发散；模型依赖固定长度的 solver context，距离从单一状态开始逐步扩展的 standalone setup 仍有差距。原论文
• 前沿见解：物理 surrogate 的工程价值不只是每一步更准，还要让 rollout 更少累积错误、样本分布可校准，并保留频谱和边界等可验证结构。

Infra

9. BaKron：用 Kronecker Hessian 把更丰富的曲率信息压进可并行量化 原文

认知提取

论文摘要

• 对 m×n 权重矩阵，BaKron 将 sequential steps 降到 O(m+n)，总工作量由 O(m²n²) 降到 O(mn(m+n))，达到与 GPTQ 同阶的 cubic scaling。原论文
• 论文还讨论 local/global Hessian、Kronecker factorization、Cholesky 分解、Hessian 累积和 Triton/CUDA Graphs 实现；因此它的主信号是量化求解器效率，而不是一个新的模型准确率榜单。原论文

核心方法

• BaKron-antidiagonal 对反对角批量处理，使并行步数从 m n 级降到 m+n 级；BaKron-recursive 通过 divide-and-conquer 把总工作量降为 mn(m+n) 级，最终方法结合两者。原论文
• 实现使用单张 NVIDIA RTX PRO 六千、float 三二、自定义 Triton kernel、CUDA Graphs 和 anti-diagonal-major 内存布局；这些工程条件是速度数字不可脱离的运行前提。原论文

实验成果

总结与反思

• 结果总结：BaKron 让双侧 Hessian 的量化求解具备接近 GPTQ 的复杂度，并用 kernel 与内存布局把递归算法的理论优势转成实际加速。
• 局限性：端到端成本仍可能由 Hessian 累积、校准数据前后向和 Cholesky 分解主导；实际显存优势更多体现为局部驻留和 streaming，而非简单的常数级总内存下降。原论文
• 前沿见解：量化系统的比较不应只报 bit 数和最终精度，还应同时公开曲率估计代价、kernel 实现和校准数据通路。

Agent

10. When History Lies：误导性多轮历史如何劫持工具调用，以及如何把可靠状态蒸馏回来 原文

认知提取

论文摘要

• 在 Qwen3-1.7B 上，污染历史会把原本正确的决策翻错三十二点一％；污染来自 airline 与 retail 的 APIGen-MT 轨迹，覆盖决策状态、实体绑定和接口执行三类干预。原论文
• ContextPollute-Bench 的 train、validation、Test-Indist 和 OOD-六百分别有九千九百零一、一千一百二十一、二千三百七十五和六百条样本；审计中的 gold correctness 为九十七点零％。原论文

核心方法

• Oracle-OPD 让 student 从 polluted history 自己生成 prefix，再让 teacher 在同一 prefix 上条件化 Oracle State，使用 token-level soft target 的 reverse KL 进行 on-policy distillation。原论文
• 训练后部署只需要普通交互历史和 student，不需要 Oracle State 或 teacher；这使可靠状态成为训练时的 privileged information，而不是线上依赖。原论文

实验成果

• Qwen3-1.7B 的 Balanced Tool-Use Accuracy 从污染基线四十七点二％提高到 Oracle-OPD 的八十七点零三％；Gold-SFT 为六十六点二八％，Oracle-SeqKD 为八十二点二九％，off-policy OD 为八十四点九九％。原论文
• Oracle-OPD 的 Decision Accuracy 为九十四点七三％、Tool Accuracy 为九十八点二四％、ArgExact|Tool 为九十二点九六％；但 OOD-六百的 TCR 为七十四点三三％，说明受控污染上的高分不能替代未见工具泛化。原论文
• 固定 1.7B student 时，teacher 从 1.7B 换成 8B，BTA 由八十七点零三％升至九十一点九三％；8B student 配合 Oracle-SFT teacher 达到九十三点零一％。原论文

总结与反思

• 结果总结：论文将 history reliability 从模糊的上下文问题单独提出，并用三视图 benchmark 与 Oracle-guided on-policy distillation 给出可训练的修复路径。
• 局限性：基准集中在 airline 与 retail 的受控 next-action 干预；自然生产历史、长程端到端交互和更多工具生态仍需验证。原论文
• 前沿见解：Agent memory 的核心指标不能只有 recall，还要测历史是否仍然权威，以及模型能否在发现冲突时拒绝沿用旧接口和旧实体。

应用体系

11. Beyond Top-K：把黑盒检索换成可解释的行号级操作 原文

认知提取

论文摘要

• 实验对象是七百八十页 Gujarat Finance Accounts 二零二四—二五 Volume I：八十六点八％内容行是表格行，数字的单位表头中位于其上方十三行，切块容易把数字和单位拆开。原论文
• Read 是一个只读 MCP server，提供 memory_list、memory_outline、memory_grep 和 memory_read 四个确定性操作；每一步返回可引用行号，而不是相似度分数。原论文

核心方法

• Agent 先提出 lexical anchor，再 grep、查看 outline、读取足够覆盖表头和数字的区间，最后继续搜索或抽取答案；操作确定、可 replay、无 embedding index。原论文
• benchmark 含五十一道 verified questions，覆盖 lookup、arithmetic、navigation、aggregation、unanswerable 和 conversion-limited；同时评 exact figure、LLM judge 与 groundedness。原论文

实验成果

• Read 的 exact-figure accuracy 为五十八点八％，dense retrieval 为十五点七％，agentic RAG 为二十七点五％，hybrid 为二十九点四％，BM25 为五十一点零％；Read 相对 dense 高四十三点一个百分点。原论文
• 调优 dense baseline 的最好结果为三十五点三％，仍比 Read 低二十三点五个百分点；但 Read 并未显著胜过 BM25，论文因此把结论限定为「embedding-based retrieval 在此类文档更弱」。原论文
• Read 每题成本约零点零五八美元、延迟三十一点四秒，dense retrieval 为零点零二三美元、十二点七秒；正确性和可审计性提升是以成本和延迟换来的。原论文

总结与反思

• 结果总结：Beyond Top-K 将检索接口从相似度排序改成可解释、可引用、可 replay 的文档操作，并在一个长结构化财务文档上显著降低数字—单位错配。
• 局限性：只有一个文档、一个 backbone 和五十一道题，且 benchmark 由系统作者构造；Read 的成本更高，结论不能外推为所有 RAG 场景的普遍规律。原论文
• 前沿见解：高风险 RAG 的基本单位可能不是 chunk，而是「带结构上下文的可引用行区间」。

Benchmark

12. HarnessOpt-Bench：测量 LLM 能不能真正改进 Agent 的 harness 原文

认知提取

论文摘要

• 优化器接收一个 seed harness、graded feedback 和固定评测预算，只能修改 harness，不能修改目标模型、环境或 verifier；最终按隐藏 test partition 上相对 seed 的 normalized gain 计分。原论文
• 基准覆盖 OfficeQA、BrowseComp-Plus、Terminal-Bench 和 GAIA 四项下游任务；五个 frontier LLM 在共享与原生 harness 下完成一百一十一次 scored runs。原论文

核心方法

• 每个任务将数据拆成 development、validation 和 hidden test；每个 partition 最多一百次 evaluation call，development 与 validation 各允许四次 full case pass，并限制目标模型 token。原论文
• benchmark 使用隔离 sandbox、模型 allow-list、资源计量和候选版本保存；seed harness 中三个是 competent but naive，GAIA seed 是 non-functional stub，因此结果同时包含 refinement 与 construction 两种难度。原论文

实验成果

• 固定任务和 harness，只替换 optimizer model，normalized gain 的平均变化为零点一四二；固定任务和 model，只替换 harness，变化为零点零七九，前者约为后者一点八倍。原论文
• 二十个 model—task pair 中，共享 harness 胜过 native harness 十一次，native 胜九次，没有平局；因此 native harness 并未提供一致优势。原论文
• OfficeQA 上，GPT 系列 release 的 gain 从约零点零三单调升至零点四九；Claude Opus 的 gain 在零点三七至零点五九之间波动，整体差异超过该任务的零点零四五 resolution band。原论文

总结与反思

• 结果总结：HarnessOpt-Bench 把 Agent harness 优化变成有隐藏测试、随机评测和资源预算的端到端能力测量，且能区分模型与工具外壳的贡献。
• 局限性：基准只支持 Python、每项任务固定一个目标模型，仍可能对固定 evaluator artifact 过拟合；跨语言、跨 runtime 和更多 agent architecture 的泛化尚未覆盖。原论文
• 前沿见解：当 Agent 的可用能力越来越依赖 harness，真正值得追踪的不是模型单点榜单，而是模型能否在受约束的实验闭环里稳定改进整个系统。

收束