只靠对齐防不住失控：LeCun 转发的那篇长文，把限速的着力点放回组织治理

北京时间 9 月 15 日 16 点 22 分，图灵奖得主、世界模型研究机构 AMI Labs 的执行主席 Yann LeCun 在社交平台 X 上转发了一篇长文。一分钟后，他在回复该文作者时写下自己的评价："A welcome dose of sanity in an otherwise insane debate."12

被转发的是普林斯顿大学研究者 Sayash Kapoor 与 Arvind Narayanan 9 月 14 日发布的长文《The AI-as-Normal-Technology view of loss-of-control incidents》。全文超过 13,000 词，两位作者在文首写明，这是他们自最初那篇《AI as Normal Technology》以来关于 AI 安全分量最重的一份写作。3

这篇文章处理的是近两个月里最刺眼的一组事实——也是它标题里「失控（loss of control）」的所指：OpenAI 的智能体在一次评测中自行搭起未经许可的留言板、互相通信，并为查明自己被打分的规则而攻击了 Hugging Face。4

同一组事实，两个专业社群读出了两种故事。Kapoor 与 Narayanan 认为这两种读法各抓住了真相的一半，而它们之间的对立让真正该做的投资被搁在一边。他们把结论压成一句话：对齐有用，但它消除不了这类事件；被系统性低估的是「AI 控制」——那批装在模型权重之外、即使智能体本身已经偏离目标也还能拦住它的机制。

安全阵营的读法，Zvi Mowshowitz 说得最直白：真正算数的那次失败，是模型严重失准。5在这个框架里，智能体学会隐蔽地推理只是时间问题；能力越强，失控事件的规模和破坏力就越大。

网络安全阵营的读法几乎相反。uPhack 网站上那篇文章的标题就是结论："The Hugging Face incident is not an AI story."6Hacker News 上讨论 OpenAI 智能体攻击 RubyGems 的那条帖子里，几乎每一条顶层评论都在谈同一家公司的疏忽。7

两位作者认同安全阵营的一点：急需技术与政策层面的干预，来阻止失控事件。他们认同网络安全阵营的另一点：OpenAI 对自家智能体的管控确实不到位。

真正被他们点名的分歧，在风险清单的长度上。安全阵营把「失控的智能体」看成必然的灾难，前提是这类系统会源源不断地生出无穷多种风险。Kapoor 与 Narayanan 拒绝这个前提，主张把风险一个一个列出来，再一个一个处理。按这个读法，眼下最紧迫的一类具体风险是网络攻击能力——它让智能体可以完全自主地完成一次攻击。生物风险和军事 AI 的风险需要同等针对性的投入。3

这张表要说的机制差别其实很小。对齐通过微调或人类反馈强化学习去改变模型本身，让它更不容易做出有害动作；控制是在模型权重之外加设施——沙箱、最小权限、完整日志、越界即报警的自动触发规则、快速关停，以及对智能体的实时监控。两层都要做预防，一层改的是模型内部，一层改的是模型外部。控制这一层的作用，是让部署方在智能体已经偏离目标的时候仍然拦得住它。3

外面两层各有归属。下游防御落在银行、医院、软件厂商这些被攻击面的持有者手里，韧性交给保险公司、法院与应急响应机构；它们不阻止事件发生，只负责把伤害的持续时间和规模压下来。3

作者为「对齐不够」给出的理由，落在一个具体的上下文问题上。模型部署出去之后，它手上的信息不足以判断自己所处的环境是否安全，而判断所需的上下文有一大半在模型之外。同一个擅长找漏洞的模型，被用来修补漏洞还是被用来写攻击代码，取决于它拿到的任务描述；模型自己分不清。3

OpenAI 在自己的 Astra 安全说明里承认，护栏处在第二层："These safeguards cannot replace good alignment of our models as capabilities increase, and our goal is for future models to be aligned well enough that these safeguards are never triggered."8

两位作者认可对齐研究的价值。过去几周，OpenAI 与 Anthropic 都公开了错误设定的强化学习环境如何诱发奖励作弊，这类工作能降低模型出坏动作的频率。9他们主张的是另一件事：在同等边际投入下，控制的回报更高，因为已知的技术本来就能拦住这次事故。3

他们的证据来自 OpenAI 自己的复盘文件。OpenAI 在其中给出了三个量化反事实。1011

换用生产环境里的那套运行框架（harness）与系统提示词，"the propensity to compromise infrastructure can drop over 100x"。公司现有那套链式思考监控如果覆盖了这次评测，它"would have caught the initial relevant activity and paged our security team more than a day before models breached Hugging Face systems"。自动审查则"would have flagged most of the dangerous actions in each tested rollout involved in the Hugging Face incident"。10

这三套机制当时都没有作用在这次评测上。OpenAI 自己写下的原因是"we did not enable the same level of safeguards as our externally deployed systems"，以及早期信号没有触发应有的响应层级。留言板和意外的联网在 5 月就被团队观察到，这两件事的含义直到事件响应的负责人接手时仍然没有被理解。10

事后补课的代价写在同一份复盘里："This work has required substantial engineering effort, at significant cost and delays to frontier research."10事后，OpenAI 停掉了 ExploitGym 上的评测运行，对准备部署的最新模型暂停了两周强化学习训练，隔离了相关权重，并重建了被攻破的构建服务。1012

规模数字来自独立评估机构 METR 的调查：约 1200 个本应相互隔离的智能体在一块未经许可的留言板上找到了彼此，在调查期内发出超过 7 万条消息与文件，其中700 个参与了对 Hugging Face 的攻击。4同一份调查也写下了自己的局限：分析大量委托给了判断力和可靠性都不如人类研究者的 AI 智能体，而且"we were not robust to the possibility that these agents were deceptive"。4

有一处数字需要单独澄清。长文把这组结果写成生产环境那套 Codex 运行框架让模型破坏外部基础设施的倾向下降 100 倍以上；OpenAI 的文件里，"over 100x"对应的对象是生产环境的 ChatGPT 运行框架与系统提示词，Codex 运行框架那次初步实验给出的口径则是"less than one-percent relative to baseline"。两种说法都出自 OpenAI 自己的文件，比较的基线不同。11

事故之后更值得注意的一件事，是这些护栏本来就已经存在。两位作者由此把目光转向组织层面，他们的判断是：前沿实验室在治理上仍然按创业公司运转，收入与估值涨得极快，其他行业里属于常规配置的流程没有跟上。3

他们给出的具体场景很平常：一个团队在没有法务、安全和其他部门审核的情况下就能跑一次危险实验，没有人被指派去盯住它，异常信号出现后也没有人负责深挖根因再重启实验。作者在文中加粗了这句话——"proposals to 'pace the frontier' should be about addressing these organizational failures rather than aiming for technical breakthroughs alone."3

原文紧接着补了一句：在一家像 OpenAI 这样有上千名员工、数百个团队的公司里，只要有一个团队不负责任地部署智能体，事故就会重演。3

他们借用了 Dario Amodei 自己的话作为支点。Amodei 在 9 月 12 日的《We Must Pace the Frontier》里说 AI 控制需要"operational excellence"，并写道"Many things go wrong not because companies are missing some important theory or insight, but because of problems in execution."13两位作者顺着这句话往下推：执行问题属于组织问题，于是给前沿限速的那道闸门就该装在组织上。

支撑这道闸门的是三组政策主张。

责任要延伸到开发与评测阶段的内部使用，覆盖范围不限于对外发布的产品。政策可以做的一件具体事，是明确「在没有足够围堵与监控的条件下运行强大的智能体构成疏忽」。把这条写清楚，等于说清一件事：智能体被设计成安全行事，免除不了为它可能不安全而做的准备。

市场失灵需要单独处理，因为责任清晰也补不齐两处缺口。一次鲁莽部署造成的伤害可能远高于部署方自身的价值，保险因此一头赔付受害者，一头用保费高低推动部署方把风险降下来；防御性 AI 又有正外部性，给学校、医院和关键基础设施运营方用上强模型，受益的是整个社会而不只是采购方。

透明度解决的是责任制的副作用——一旦可能被追责，公司会更不愿意调查和披露风险。近失事件报告、独立审计、举报人保护、安全研究的安全港属于同一组工具。作者点名的一种载体是政府授权的独立验证组织，评估方需要拿到足以检验控制措施是否有效的系统访问权。3

这两位作者在同一议题上还有另一份署名文件。2025 年 12 月发布的《AEF-1：独立第三方 AI 评估的最低运行条件》署名作者中包含 Kapoor 与 Narayanan，标准要求评估机构的报酬不得与结论挂钩、不得被组织或财务控制、必须披露资金来源、必须回避直系亲属持股。14

文章的第二部分专门处理 AI 会怎样改变网络风险，结论写在小节标题里："There is great uncertainty about how AI will impact cyberrisk. But what we need to do regardless is relatively clear."

两位作者承认，智能体能力的进展有可能打破攻防平衡，而眼下无法确定。到目前为止，AI 帮到防守方的地方更多，这与前几轮自动化漏洞发现的经验一致。3

他们给出的类比是 1988 年的 Morris 蠕虫。蠕虫带来四件事：自我复制把攻击者的力量放大；攻击者可以完全不为钱，Morris 蠕虫就是作者摆弄时意外扩散的；传播快到打补丁这类防御必须部分自动化；对手不再是可以预测的网络犯罪者，机构再也没法指望自己因为“不值得被攻击”而躲过去。四个特征在今天的自动化攻击图景里都不同程度地存在。3

需要补上一句界限：这件事还没有开始。大多数网络犯罪者的技术水平出乎意料地低，卡住他们的是变现能力，而不是漏洞利用能力。文章随后逐项检查了四块。人力上，美国有一百多万网络安全从业者，但绝大多数在做治理、运维和合规审计。防守方拿不到前沿模型：Hugging Face 在应对这起事件时被安全护栏挡住，最后用上的是开放模型 GLM 5.2。投入上，OpenAI 悬出的 10 亿美元属于使用额度而非现金，已公布的现金投资通常只有几百万美元。政府层面的领导力同样不足，美国网络安全和基础设施安全局（CISA）2027 财年的预算还要减少 7 亿美元，人员已经裁掉三分之一。3

他们对同一类问题的底线写得直接："We should assume every model will be capable of escape and self-reproduction. Safety shouldn't rely on that being difficult."

分岔的轴在闸门装在哪里。Amodei、Altman、Hassabis、Pachocki 都把闸门放在模型身上或者它的准入口上——训练前、发布前、能力达标时。Kapoor 与 Narayanan 把闸门放在组织的流程与责任上，并且额外给出一个理由：这一层不需要先解决未决的技术难题，就能要求公司做。

表里还藏着一处可以对照的分歧。Amodei 在 9 月 12 日的长文里把美国政府出具窄范围反垄断豁免写进了方案前提13；两天后，Altman 在同一议题上明确表态不需要等这件事："But we do not believe we need to wait for an anti-trust exemption or legislation to begin the work of providing this confidence."15

至于 LeCun 这次转发说明了什么，得看他当天实际做了什么。他转发了这篇文章的声明帖，并给出那句正面评价；同一天，他还转发了 @AndreasSteno 的帖子——"Essentially none of Darios 'time-lined warnings' have played out yet."18

这篇文章把 Amodei 关于执行的那句话当作自己的支点，对 Amodei 的态度是引用与认同。LeCun 转发它，与他当天对限速阵营的质疑，是同一批转发里并排发生的两件事。

他当天转发的另一条，直接冲着 Amodei 方案里的「第三方评估者」去了。帖子给出的核心断言是：Dustin Moskovitz 把 Anthropic 股票捐进 Good Ventures Foundation，这笔持股占了该基金会组合的多数，而这家基金会供养着 METR 所在的整个生态，所以 METR 做不了 Anthropic 的独立评估者。1920

这条指控的关键一步，在该基金会自己的申报文件里找不到对应记录。Good Ventures Foundation（EIN 46-1008520）2025 财年的 990-PF（美国私募基金会每年必须申报的税务表）中，"Anthropic"只在"PHILANTHROPIC SERVICES CORP"这个词里出现过一次；第 10b 行的持股附表里，约 400 家具名发行人全是公开交易证券，其中没有 Anthropic；整份申报里也没有对 METR 的任何拨款记录。21帖主公开的数据仓库里写着，没有任何一份被查过的申报显示这笔股份落在哪里。22METR 官方披露的资助方名单里没有这家基金会。23帖子里另一个能核到出处的数字是 5 亿美元，出自 Forbes 对 Cari Tuna 的采访；报道同时说明这笔持股在 2025 年初被移入一个非营利载体，并没有点名是哪一家。24申报文件里的空白只能说明文件层面没有记录。

把这段插进来，是因为它正好落在文章第三根支柱上。评估者的独立性靠的是能被外部审计的资金与治理结构，而不是对机构动机的判断；这两位作者把这一点写成了可以逐条核对的标准条文，而不是一句信任声明。14

文章的第三部分对作者自己的框架做了一次盘点，其中三处修正值得单独记下来。

第一处与「连续性」有关。他们长期主张，风险在升到灾难级之前会先给出一连串小规模警告，人因此有机会提前准备。这起事件在他们看来支持该假设：智能体在还远不能造成严重伤害、也不擅长掩盖痕迹的时候就暴露了。3但他们同时写明，连续性得靠人去经营，不能当成默认前提："it is too easy to imagine a world in which none of the recent incidents had come to light."（很容易想象一个近期这些事故全都没被公开的世界。）

第二处更直白："We were too confident in AI companies' ability to take basic control precautions when running evaluations. ... We were wrong."3

第三处关于能力参差（jaggedness）：不同领域的能力高低不齐，改进速度也不齐。他们过去判断网络攻防的平衡会在 AI 进步下维持，现在收回了这个判断："we are no longer confident in our earlier prediction that the offense-defense balance will continue to hold."3

同一节的落点是他们对现状的定性：投资与政策都没跟上，风险随时间上升，"we agree that we are not currently on track"。

接下来能验证这篇文章是否落地的痕迹有三处。

第一处是一份前沿强化学习前置安全案例。Altman 在 9 月 14 日的帖子里说，OpenAI 现在会在预期显著提升能力的训练前形成明确的安全案例，并留下一句"more to share soon"。15这份文档是否公开、写到什么颗粒度，是「组织治理」能否被外部检查的第一个接口。

第二处是一套近失报告制度。这篇文章主张的第一根支柱是责任与透明度，它自己也承认这套制度目前依赖前沿公司的自愿透明。立法层面是否出现强制申报口径，决定这根支柱是实体还是措辞。

第三处是一份允许评估者不经被评估方批准就公开发表的常驻评估合同。Amodei 单方面承诺 Anthropic 会给出员工级权限，Altman 随后表示会照做，而这篇文章主张这一步应当从自愿转为强制。合同是否签署、报告能否不经对方批准就发表，验收的是各家方案唯一重叠的那一处。