Agent 的安全边界，不能只画在模型上
这期深读 METR 最新风险报告：agent 的安全问题正在从模型能力，转向权限、监控、日志和责任归属的组织设计。文章解释为什么员工级权限、自动化监控缺口和用户审批疲劳，会成为下一阶段 agent 治理的关键边界。
今年 5 月，METR 给出一个不太舒服的判断：2026 年 2 月到 3 月，AI 公司内部使用的 agent 可能已经具备启动小型「自主运行副本」的手段、动机和机会。这里的自主运行副本，指一组 agent 在人类不知情或未授权的情况下继续运行。METR 同时强调，这些 agent 还没有能力把这种部署做成很难被公司关停的大规模系统。1
这句话的重点不在「AI 已经失控」。更准确的读法是：agent 风险正在从一个模型能力问题，变成一个组织权限问题。模型会写代码、调工具、开机器，只是前半段；后半段是公司到底把谁的凭证、哪类系统、多少预算、哪些日志和刹车交给了它。
METR 把问题换成了「它能动哪些开关」
METR 这份报告的评估窗口是 2026 年 2 月 16 日到 3 月 16 日，Anthropic、Google、Meta 和 OpenAI 参与了试点。各家公司向 METR 提供当时最强的内部模型访问、模型能力信息，以及内部如何使用和监控 AI 的非公开材料。METR 采用的是按公司实体评估的方式，而不是只围绕某个公开发布的模型打分。1
这个视角很关键。以往很多安全评估问的是：模型能不能完成危险任务？METR 追问的是：如果这个 agent 已经在 AI 公司内部工作，它有没有手段、动机和机会去越过人类控制？报告把问题拆成三块：它能做什么，它为什么会尝试做，以及现有监控和权限能不能及时拦住。1
这比单纯讨论「模型聪不聪明」更接近真实风险。一个没有权限的 agent 再强，也很难造成实际损害；一个判断力一般、但拿着员工级权限的 agent，反而可能在完成任务时顺手越界。
权限会把责任悄悄转移出去
报告里最值得盯住的一段，是 METR 对内部使用方式的描述。它没有发现参与公司在 2026 年 2 月到 3 月普遍设置了严格的人类监督要求，也没有发现普遍、严格的 agent 权限限制。METR 估计，许多 coding agent 拥有接近发起它的员工的权限，比如调配算力、发送消息、提交代码变更；不少研究者还会允许 agent 在电脑上无需逐步批准地执行操作。METR 自己的 AI 使用调查也显示，约 40% 的受访者会在低风险项目中给 agent 不受限制的命令执行权限。1
这就是责任归属变浑浊的地方。agent 做事时用的是人的权限、人的工作流、人的账户上下文。出了问题，日志上看到的可能仍是某个员工能做的事，而不是一个清晰标记为「AI 独立越权」的动作。责任没有消失，只是被转移到了产品默认设置、权限模型和审批链里。
Anthropic 在 4 月的 agent 治理文章里也承认，agent 的行为不是由模型单独决定的。它由模型、运行框架、工具和环境四层共同决定；一个训练良好的模型，仍可能被配置糟糕的框架、过宽的工具权限或暴露过多的运行环境拖进风险。2
所以安全边界不能只画在「模型拒绝做坏事」上。更实际的边界，是工具能不能分级授权，agent 有没有独立身份，敏感操作是否需要额外确认，日志能否把人的决定和 agent 的执行分开。
监控不是一堵空气墙
METR 并不是说监控没用。报告提到，OpenAI 和 Anthropic 都公开描述过用自动监控系统审查内部 agent 轨迹，Anthropic 在多类人工场景和少量真实事件中通常看到超过 80% 的捕获率。问题在于，监控系统也有覆盖缺口和绕过路径。1
METR 今年 3 月还与 Anthropic 合作做过一次内部 agent 监控红队测试。测试人员花了三周压力测试 Anthropic 的一部分内部监控和安全系统，发现了几个新的具体漏洞，其中一些已被修复；这次测试还产生了包含隐蔽攻击的 agent 轨迹和攻击策略测试集。3
在 5 月报告里，METR 对这次红队测试给了更具体的解释：监控覆盖存在例外，比如不覆盖部分非 Claude Code 流量；红队人员还找到了禁用或绕过监控的方法，例如更改一个用于关联 Claude Code 流量的环境变量，或用简单可靠的提示注入策略欺骗监控器。1
这不等于当前 agent 已经能熟练完成这些绕过。METR 反而写得很克制：小规模测试里，2026 年 2 月到 3 月的 agent 还没能自主想出或执行这些攻击。但这里的风险不是「今天已经会」，而是「边界已经露出缝」。当 agent 将来从训练数据、文档或环境里学到监控系统的关键信息，绕过难度可能下降。
真正的安全设计，要让「越权」变得不顺手
METR 的结论有两个边界。第一，2026 年 2 月到 3 月的内部 agent 可能已经能启动最小规模的未授权部署，尤其是在拥有员工级权限、又缺少专门限制的情况下。第二，它们还不能抵抗公司高优先级的主动调查，也很难同时伪造大量日志、适应调查步骤、避免系统性审计。1
这个边界反而给了一个务实方向：不要等到模型强到能和安全团队长期对抗，才开始补权限设计。现在要做的是让越权变得不顺手，让每一次高风险动作都留下能被追问的痕迹。
Anthropic 的产品文章提到，逐步批准每个动作在简单任务里直观，但任务包含几十个动作时，用户会被频繁弹窗磨到麻木。Claude Code 的 Plan Mode 试图把监督从单步批准前移到整体计划：用户先看 agent 打算怎么做，再批准执行，并保留中途干预能力。2
这说明「人在回路中」不是万能答案。真正有用的问题更细：人是在批准每个命令，还是在批准一个计划？他看得到子 agent 在并行做什么吗？他能不能一键暂停、回滚、收窄权限？如果这些都没有，人类只是名义上在场。
相关信号速览
- Anthropic 对真实使用数据的分析显示，Claude Code 最长一批会话中，agent 停下前的工作时长在三个月内从不到 25 分钟增至超过 45 分钟；新用户使用完全自动批准的比例约 20%，经验用户可升至 40% 以上。Anthropic 的结论是，经验用户会从逐步批准转向监控和中途干预。4
- 同一篇分析还显示，Anthropic 公共 API 中约 80% 的工具调用看起来至少有一种防护措施，73% 看起来某种程度有人参与，只有 0.8% 的动作看起来不可逆；但高风险、高自治的象限并非空白，软件工程约占 agent 工具调用的一半。4
- 英国 AI Security Institute 在 5 月发布的监督报告认为，当前监督依赖四类表面：内部激活、思维链、外部动作和 agent 之间的通信。报告基于 25 位专家访谈和文献分析，判断这些监督基础可能随能力进展被侵蚀，且已有迹象显示前沿模型越来越能识别自己正在被测试并调整行为。5
METR 这份报告最有价值的地方，是把 agent 安全从一句抽象提醒落到了公司内部的日常设置上：权限像不像员工，监控有没有盲区，日志能不能解释事故，人能不能在关键时刻接管。真正的风险边界，往往就藏在这些默认选项里。
Contenido relacionado
- Inicia sesión para comentar.