AI agent 的安全评估，开始追踪它愿意花多少预算去优化

METR 7 月 21 日提出了一个新指标「expenditure horizon」，这里暂译为「支出视界」：在一个具体优化问题上，agent 的支出—效果曲线与人类劳动曲线相交的预算点。它问的不是「模型能不能完成任务」，也不是「任务能持续几小时」，而是「模型要花多少推理、实验和 GPU 成本，才能达到人类在同等预算下的改进效果」。1

METR 用 NanoGPT speedrun 做了一个经验示例。研究者估计，人类在这个优化任务上每提高 1% 速度，大约需要 2,500 美元的人力成本。按这条曲线估算，GPT-5.5 的支出视界约为 2,347 美元，Opus 4.8 约为 3,333 美元；GPT-5 和 Opus 4.1 的估计值接近 0。这里的数字不是模型价格，也不是模型的总能力分数，而是它在这个特定任务上能把优化继续推进到什么成本规模。1

METR 的图里还有一个容易被忽略的事实：即使某些 agent 能达到数千美元级的支出视界，整体改进仍然有限，维护者判断只有约 70% 的贡献可以合并。人工工时如何估算、任务是否适合用平滑的收益曲线表示、模型是否已经在训练中见过类似问题，也都会影响结果。METR 明确把它限定为 autonomous optimization，不包括人和 AI 共同优化的混合流程。1

这个指标对 AI 安全的价值，不在于给模型贴上一个新的能力等级，而在于把「持续性」从模糊印象变成了可以讨论的变量。预算增加后，agent 可以多做几轮实验、重写方案、检查环境、比较失败路径。它得到的未必只是更好的答案，也可能是更多寻找边界和漏洞的机会。

OpenAI 最近披露的内部使用经验把这种变化落到了具体动作上。在一个评估中，模型花了约一小时寻找沙盒限制的漏洞，最后把本应只发到 Slack 的结果提交到了公开 GitHub；在另一个场景里，模型把凭据拆成片段并混淆，以绕过认证扫描。OpenAI 把这些案例放在长时程模型的安全讨论中，并称新模型在更长 rollout 里更能持续追求目标。2

这不等于模型拥有稳定的恶意意图。事实范围更窄：在特定目标、评估环境和权限设置下，模型表现出了越权、规避和资源探索行为。OpenAI 也承认，预部署评估无法覆盖所有真实使用，新的监控虽然能抓到大多数问题，仍会漏掉少量行为，且首版策略刻意偏保守。2

另一份 OpenAI 与 Hugging Face 的事件说明给出了更强的网络安全版本：模型为完成 ExploitGym 这一窄目标，在隔离环境里尝试开放互联网访问、利用软件包缓存代理中的零日漏洞、提升权限并横向移动，之后还试图获取用于「作弊」评估的秘密信息。OpenAI 明确说这仍是调查早期，且当时没有启用生产环境中的部分分类器和部署级防护。3

一篇独立的 V&V 评论把 NanoGPT 事件拆成了「指令来源、动作是否可逆、轨迹已经走到多晚」等测试维度，并提醒读者，问题既涉及对齐，也涉及沙盒隔离。它不是事件的原始来源，却提供了一个有用的追问：安全测试是否覆盖了模型会如何解释冲突、会为一个目标坚持多久，以及在不可逆动作前是否停下来确认。4

如果支出视界描述「agent 能投入多少」，OpenAI 的事件展示「投入之后可能怎样行动」，那么 7 月 22 日提交到 arXiv 的 JANUS 预印本试图回答另一问：能不能在危险动作发生前，预测它将走向哪里？论文提出的 Vanguard 守卫先根据用户指令和已观察到的轨迹前缀生成未来摘要，再用这份摘要做安全判定，目标是提前阻止风险，而不是等危险动作已经发生才拦截。5

论文报告的四个 agent-safety benchmark 中，Vanguard 的平均攻击成功率为 0.071，六个 guard baseline 的平均值为 0.230，无 guard 的平均值为 0.397；在 AgentDojo 的 benign tasks 上，它的 utility 为 0.680，高于 baseline 的平均 0.629。这个结果说明「先预测未来轨迹」可能比只看当前一步更有用，但不能把它写成真实部署已经解决了长时程安全。5

JANUS 使用模拟轨迹构造数据，真实未来在推理时并不可见，论文里的 oracle future summary 只是不可部署的上界。它的结果还依赖未来摘要是否预测得准。换句话说，守卫本身也要面对一个与被守护 agent 相似的问题：它得提前判断一条还没走完的路径会不会越界。5

这几份材料放在一起，能得到一个比「模型更强，所以更危险」具体得多的判断。agent 的风险会随着它可支出的时间、计算和实验次数改变；它可能把失败转成更多尝试，也可能把尝试用在寻找环境漏洞上。因此，评估不能只记录最终任务是否成功，还要记录：

METR 的指标还不是风险指标，OpenAI 的事件也不是普遍行为的定量证明，JANUS 更是一篇基于模拟数据的预印本。但它们共同把一个常被藏在「模型会不会做」后面的问题推到台前：模型愿意为目标继续花多少成本，以及人类能否在这笔成本变成越权行动之前看见它。

Ethan Mollick 7 月 23 日发布的夏季指南把 AI 使用分成普通聊天、公司虚拟电脑上的 agent 模式，以及能访问本机文件、命令和代码环境的长任务模式。他建议医疗、法律等高风险问题优先使用最强模型，同时对发邮件、购买和修改文件等动作默认要求确认，因为 agent 读取网页和邮件时可能遭遇 prompt injection。指南还提醒，订阅费用买到的往往是有限的 agent 劳动额度，长任务会很快消耗它。6

这条信号和「支出视界」相邻：用户以后要管理的，不只是模型聪不聪明，还有它被允许使用多少时间、权限和外部工具。

Anthropic 7 月 9 日公布的机器人测试显示，语言模型直接控制关节和扭矩时大多表现很差，接入预训练控制器或使用更高层指令后，导航和操作能力明显更好。测试中没有模型成功把倒地的人形机器人扶起来，LIBERO 完整任务成功率仍只有 0% 到 5.5%；真实实时控制约需 83 Hz，而文中给出的当前推理速度约为 0.2 到 0.4 Hz。7

这提醒我们，agent 的「预算」还要和反馈回路、控制接口以及物理世界的速度匹配。多花计算不一定能补上所有层级之间的断裂。