
本期聚焦8篇长程智能体直接命中论文,拆解完整交付、失败修复、轨迹奖励与成本评估,并说明音频栏目为何仍没有TTS或播客生成的直接命中。
| 阅读层级 | 论文 | 主要改动层 | 最值得带走的证据 | 主要短板 |
|---|---|---|---|---|
| 直接命中·精读 | BixBench3(2608.25286)1 | 长程工作流评测 | 20 项研究级任务、138 个程序化评分产物;13 个模型得分 0.00–0.48 | 只覆盖计算生物学,未含湿实验 |
| 直接命中·精读 | Agentic Game Development...(2608.25518)2 | 可验证轨迹与 RL 后训练 | 游戏引擎把碰撞、物理、可导航性和可玩性变成接地奖励 | 奖励环境限于游戏开发 |
| 直接命中·精读 | Repair or Resample?(2608.25920)3 | 故障轨迹与修复评测 | 536 条人工标注失败轨迹;症状驱动修复率 20.15% | 依赖日志与锚点标注,修复仍不稳定 |
| 直接命中·精读 | FrontierChallenge(2608.24979)4 | 端到端交付评测 | 最佳配置在 97 项任务中仅完整通过 20 项;部分分数与完成声称会高估交付 | 评测既定工作流,不评估研究问题提出 |
| 直接命中·精读 | Where vs What(2608.25358)5 | 结构化输出的可验证奖励 | SA-RLVR 将 JSON 值位置准确率从 26% 提到 63%,并测试未见 schema | 只覆盖 JSON 与表格 |
| 直接命中·精读 | LifePlanner(2608.25039)6 | 噪声证据与工具规划评测 | 复杂规划 Pass Rate 降至 40.2%,失败集中在证据获取、工具使用和约束整合 | 场景限于地理空间规划 |
| 直接命中·精读 | Candidate supply...(2608.25937)7 | 候选生成与答案选择 | 固定候选池重放中,选择规则把准确率从 63.82% 提到 70.82–70.95% | 没有在线演化或训练更新 |
| 直接命中·精读 | Can your AI agent be cheaper?(2608.25399)8 | 任务规格与成本评测 | 裸用户故事使 token 消耗增加 29.7%,同时成功率增加 16.4% | 只测 Kimi K3 的编码任务 |
| 邻近跟踪·高优先 | Training Alignment Auditors via RL(2608.25460)9 | 成对奖励与误报控制 | 训练后 Haiku 4.5 的四维复合分为 48.7,接近 Opus 4.6 的 48.4;误报率低于 1% | 奖励依赖知情 LLM judge |
| 邻近跟踪·高优先 | CaSKG(2608.25500)10 | 技能图检索 | 6 个骨干在 ALFWorld/ScienceWorld 的 12 个组合全部达到各自最高任务分 | 离线构图,域覆盖有限 |
| 邻近跟踪·高优先 | ProgRouter(2608.25992)11 | 步骤级运行时路由 | 针对进度、剩余难度和长期成本逐步选模型 | 摘要未报告成本降幅 |
| 邻近跟踪·高优先 | Trace Integrity(2608.26036)12 | 轨迹完整性 | BIRD Mini-Dev 上答案准确率、轨迹通过率和 CAIT 率分离 | 立场性论文,演示规模小 |
| 邻近跟踪·高优先 | LocalLSTC(2608.25777)13 | 长短期状态控制 | 91.6% 失败轨迹至少含一次控制失败 | 只覆盖 GUI 智能体 |
| 邻近跟踪·高优先 | Paint What You See(2608.25417)14 | 工具轨迹数据与闭环评测 | 25 个模型的相似度瓶颈在 0.40–0.54;提供 440k 轨迹样本 | 绘画画布与真实工具仍有距离 |
| 邻近跟踪·中优先 | Tunable Tool-Call Rates(2608.25198)15 | 推理时调用率控制 | 工具调用率可从接近 0% 调到 90% 以上,开放域 QA 准确率 0.29→0.56 | 控制调用倾向,不保证选对工具 |
| 邻近跟踪·中优先 | Federation Is Nearly Free...(2608.25215)16 | harness、策略和可复现性 | PPO 策略达到 88% 准确率、零 token 成本和多次运行结果一致 | 单一蛋白质工作流,平台未开源 |
| 邻近跟踪·高优先 | AudioLens(2608.25177)17 | 音频后训练与基准设计 | ARI 44.77 对 GPT-audio-1.5 的 31.78;11/12 设置超过最强基线 | 全部音频由 TTS 合成,无真实录音覆盖 |
| 邻近跟踪·中优先 | Domain-Adaptive ASR...(2608.24916)18 | 可懂度与实时性评测 | 电话域 CER 23.31%→9.04%,同时报告 RTFx | 自建泰语电话数据,缺外部电话基准 |
| 邻近跟踪·中优先 | AllMusicCaps(2608.25244)19 | 音频-文本数据与检索评测 | Song Describer MRR 15.1→18.8 | 音乐域,评论不能替代数据广度 |
| 邻近跟踪·中优先 | A Training-Free Proactive Defense...(2608.25285)20 | 生成真实性与篡改评估 | 单词替换攻击 EER 8.91–9.95%,载荷恢复率 100% | 只在同说话人、理想信道下验证 |
| 邻近跟踪·低优先 | Can We Read the Mind of an Audio LLM?(2608.24958)21 | 音频评测的因果控制 | waveform-swap 把音频输入与文字先验分开 | 定性研究,无代码和数据 |
| 邻近跟踪·低优先 | Combining Self-Embedding Audio Watermarking...(2608.25289)22 | 水印、定位与编解码器 | 结果显示编解码器重建保真度主导检测和定位 | 与 2608.25285 共享框架,且为理想条件初步探索 |
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
mp.weixin.qq.com
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
arxiv.org
github.com
arxiv.org
arxiv.org
arxiv.org
github.com
arxiv.org
arxiv.org
arxiv.org
arxiv.org
github.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.