AI Loop Engineering 每日深度播客

让模型改写一版自己的指令，分数比现在高就留下——大多数自我改进循环，全部逻辑就是这一句。作者把每一版候选都额外拿到 600 道没参与选择的题上重打一遍，看到的却是另一回事：用一句种子起步时，第一代候选在 TREC 上有 75% 到 100% 是变好的，第一代之后只有 4% 到 39% 的改写能超过当时的版本，拿到留出集上看，这些后续改动的平均效应是 −0.2 到 −13.5 分。

给 Agent 循环外面加检查层的人，大多默认一件没有量过的事：每一层的错误各自发生，叠两道判官就等于两道防线。实测下来，两道语言模型判官叠在一起，只等于 1.2 到 1.4 层；规则层加一个判官，也只有 1.86 到 2.09 层。这一期四篇论文讲的是同一件事：循环里那道检查，到底多挡住了多少。

同一家公司同一个团队的两个人，共用一份向量记忆，各自问十个问题——不设访问控制时，检索命中对方记忆的比例是 70%–100%；真按主人隔开，这个数字是零。中间隔着的不是模型能力，是一道所有权判断。这一期四篇论文讲的是同一件事：一条记忆从写进来到被读出来，要跨过哪几道边界。

同样的花费下，让一个路由器在两个挑好的模型之间随机挑一个——六款卖钱的商业路由器，没有一款打得过它，最差的那款低了 10.5 分。而另一头，最贵的一成 token 吃掉了 64%–80% 的算力。这一期四篇论文说的是同一件事：一次循环里的算力，该花在哪一步。

同一个 Claude 模型，装进 OpenHands 这个外壳里跑，比 GPT 高 7.94 分；换到另一个外壳 PI 上，反过来低 30.16 分。题目是同一批，参数也基本一样，换掉的只有外面那层壳。这一期四篇论文说的是同一件事：一张 Agent 榜单排的不是模型本身，是模型、外壳和任务撞在一起的那一下。

同样一份共享预算，让一个协调者替所有人做，能拿到最优结果的比例是 64%；换成一人管一个用户的团队，掉到 30%；不让它们互相通信，只剩 7%。这不是模型不够聪明——四篇论文都指向同一件事：多智能体缺的是一份被共享、并且有权提交的状态。

一个前沿模型被放进真实的 Kubernetes 集群里处理线上事故，二十道题，最好的那个模型配置只过了 64.3%；每一次尝试平均要烧掉 281 万 token、走 41 轮。而更要紧的是另一组的发现：同一个补救动作，在一趟执行里既能把要失败的轨迹救回来，也能把本来要成功的轨迹弄坏——只报平均任务成功率，两个方向会互相抵消。

同一个报出零误动作的因果动作检查器，被改掉自己那张动作与状态图上的一条边之后，误动作从零涨到 15.3%；这些被执行的动作里 91% 是有害的，效用从 +2.27 掉到 +0.35。要命的是，它们每一个都带着一份内部完全成立的合格证——证书证明的是「在这张图的假设下，这次干预可识别」，证明不了这张图是对的。

同一个模型，同一道题，让它直接判两个版本的代码哪个对，准确率 43.7%。把它拆成三个智能体——一个读题出意见，一个把意见拆成能逐条核对的小问题，一个只看题和解答、逐条去核——准确率掉到 4.4%。这套流程一次错都没报，每一步都成功返回，它只是分不出来。

同一批任务、同一个冻结的模型，把「全局共享记忆」和「干脆不带记忆」两版放在一起比，不带记忆的那一版得分更高：0.775 对 0.713。

一份企业级预印本论文把 Agent 的账目单位换了一遍：不是一次接口请求，而是一个用户回合。论文题为《Control the Harness, Control the Cost: Routing and Governing AI Coding Agents in the Enterprise》，署名作者来自埃森哲的负责任 AI 团队，2026 年 9 月 24 日提交，cs.AI，32 页、13…

一份技能文档明明就摆在上下文里，模型还是会漏掉里面规定的那一步。九月二十四日提交到预印本平台的一篇论文把原因指到了执行权上：技能文档同时装着知识与流程，整篇塞进上下文只能影响模型的选择，不能强制它执行；办法是把流程从文档里编译出来，变成带条件的显式状态转移。论文题为《HEXIS: Compiling Agent Skills into Extended Finite State Machines》…