同一个 coding agent,换一套工具接口,行为可能就变了。
arXiv 论文《The Devil Is in the Interface》把“工具能做什么”和“工具怎么暴露给模型”拆开,在 3 个 Agent、6 种架构、11,700 条轨迹上做对照:Atomic 让重复成功的一致性最高提升 4.7×;自然语言搜索让相关文件访问量增加超过 11%,但 precision 更低;Python / CodeAct 风格接口则在相近任务表现下少 41.6% 步骤、少 56.3% token。
最值得记住的不是某个接口永远最好,而是评估 Agent 工具时要把“能力”和“组织方式”分开测。想做自己的实验,可以先固定底层能力,只换接口,再分别看修复成功率、一致性、探索覆盖和成本。论文没有给出本期可以直接照抄的公开安装入口,所以这组图把重点放在机制和实验设计上。
资料:1


Comments