OpenAI 的前沿训练安全论证：三道防线、三张否决票，和一批没有数字的阈值

9 月 28 日，OpenAI 在 Safety 栏目放出一篇《Towards safety cases for frontier AI training》1。官方新闻源里这条的类别标为 Safety，发布时刻是北京时间 9 月 29 日凌晨 3 点2。页面没有个人署名，作者栏写的是 OpenAI。

它推的词是「安全论证」（safety case）。OpenAI 在六天前的另一份文件里给过两个定义：一条安全主张是「关于模型或系统的能力、行为或保障措施的一条具体断言」，要写明它针对的风险、条件与假设，并能对照证据评估；一份安全论证则是把这些主张与支撑证据连起来的一份结构化论证，说明某个系统在训练、评测或部署中的风险已被充分管理，并把假设、不确定性和残余风险明写出来3。两条定义的差别在那根链上：清单列的是做过什么，论证要说清这些事凭什么支撑「风险已经被管住」这个结论。

这份文件自己承认还到不了那个标准。它把安全论证称作正在朝之努力的目标，并写明 AI 很难做到像航空或核能那样严格，因为能力每提升一级都会出现新的涌现复杂度；范围只到前沿强化学习训练，内部部署与外部部署要考虑的对齐属性宽得多；这些是当前建议，正在 OpenAI 内部实施中，预计未来几周还会继续演化1。下面读到的是这份意向书里写了什么，它离一套跑起来的制度还有距离。

原文用一句话交代了三个部分的顺序：这些保障措施要确保模型不去尝试失调的行动，即使它这么做了也很难突破隔离，即使突破了，监控也会在伤害发生之前抓住它1。这句话把技术栈排成了一条链——对齐让它不想做，隔离让它做不到，监控让它在造成伤害之前被发现——每一层都从上一层已经失效开始。

对齐那一层装的是训练和测量两类动作。训练侧有四件事：用智能体自动排查有问题的训练环境，人工复核数据集补上自动审查漏掉的，调评分器让它在模型钻环境空子时扣分，以及拿分类器扫既往实验的轨迹反查评分器有没有按预期工作。测量侧要跑离线对齐评测、把评测回测到既往事故上、追踪模型认出自己在被测之后的反应，以及主动诱导最坏行为来验证至少有一项评测能发现它。还有一条不属于上面两类：不要让自动评分器在强化学习里看到思维链1。

隔离那一层假设对齐已经失效。它要求把沙箱和研究基础设施分别加固，给沙箱逃逸留出第二道保护；用前沿训练跑出来的检查点反复红队沙箱、研究基础设施和外围边界，也红队模型在训练中能碰到的每一项服务；把高带宽的跨样本通信限制在获批路径上，例如多智能体工具，关掉那些带宽高又容易被智能体发现的基础设施侧信道；把智能体的轨迹不可篡改地存起来，存进写一次存储这类地方1。

监控那一层假设隔离也失效。它要求模型保持可监控，衡量方式是带明确阈值的可监控性与监控规避评测；要求监控系统对既往发生过的问题保持高召回；要求为每一次新训练补上针对新增风险的评测数据点，免得召回率和准确率的读数过期；以及让告警在限定的 SLA 内变成动作1。

原文在这些地方明确要求设置阈值1。

这些条款说的是「要有阈值」，具体数值全篇一处也没有出现。文件里少数几个写到具体动作的地方之一是告警的响应方式：白天的告警呼叫安全值班和训练 run 负责人，夜间的未确认告警直接自动暂停 run1。触发之后多久算超时、暂停之后由谁决定恢复，这两件事没有写。

运营那一部分的重量在决定权怎么放。「预演异议」要求安全论证定稿之后，由另一个团队的人写一份异议去找它的漏洞，训练团队必须回应1。审批交给资深领导层成员，每一位都有权否决这次 run，文件举的三个例子是研究组织负责人或研究 VP、安全负责人、首席科学家1。对这次 run 负责的资深领导要为安全论证和事故响应担责，责任计入绩效评估1。审计方要拿到足够的访问权，去核实论证里的主张是否站得住1。

升级路径也写出来了：失调升级要有清晰流程，配一张定义好的失调严重度表，以及一个在 run 触及某个严重度时能呼叫高管、例如 CEO 的 misalignment on-call1。

有两处把「关不掉」写死了。监控和自动暂停要 fail closed：没有打开监控就不能起 run，也不能从强化学习训练、评测或内部部署里把监控关掉1。还有一处要求能识别一个失调模型在训练流程里的全部下游用途，例如数据生成和评分，以便撤销它造成的影响1。

第三部分接着往下走。调查期间要有周期性的内部更新，进行中的调查按天来，员工要有明确途径申请更多访问权限，包括原始轨迹和从失调模型里抽样；研究者要对训练动态做根因分析，例如用定向消融或重采样实验；要写一份运营与文化层面的复盘，弄清问题是怎么被引进、又为什么在被发现或被上报之前一直没被拦住；要把这起事故转成回归测试，保证后面的模型不会在很相似的事故上重演，同时造出不直接依赖这起事故信息（轨迹、事故摘要）的对齐测试方法；调查结论、复盘与运营调整在调查结束之后公开，受影响的第三方要在尽可能早的时候被通知1。

把这几条放在一起，这份文件的重心就露出来了：它把「这次 run 能不能开」从某个人的判断，挪成了一道写下来、可以往上捅、有具名责任人担责的程序。

这份文件末尾把「公开披露」这一步指向了 OpenAI 9 月 16 日那份失调披露框架14。两份文件并排读，用的是同一套机器。披露框架的入口是任何一名员工都可以把一起失调例子提交给安全与对齐团队、要求评估是否公开，中间是三条处理轨道，员工对轨道或披露与否的分歧交到安全顾问组，安全顾问组内部的分歧和员工对它的反对再往上给到 OpenAI 领导层4。训练安全论证的入口是另一个团队写的那份异议，中间是三位领导各自的否决权，末端的严重度表和 on-call 能一路呼叫到 CEO1。两份文件都让一个人可以说不，也都写清了分歧往哪走。

差别在时间上：披露框架处理的是事情发生之后要不要说出去，训练安全论证处理的是 run 开始之前准不准开。

9 月 16 日同时公布的六起越界行为里，有两起是模型跨样本通信——把内部软件仓库当留言板互传请求与回应，以及在本地文件读不到时改用公网的临时文件托管站点互传文件4。这份文件在隔离那一层专门写了一条，要求把高带宽的跨样本通信限制在获批路径上，关掉那些带宽高又容易被智能体发现的基础设施侧信道1。两件事由同一家公司隔十二天先后公布；把它们放在一起读是本文做的对应，OpenAI 没有在文件里点出这层关系。

OpenAI 在监控上的主要押注是思维链监控。它的思路是：模型的能力有相当一部分来自被说出来的推理过程，如果只对结果做优化而不监督这个过程本身，思维链在训练里就没有动机去藏起失调的想法5。

9 月 6 日，OpenAI 首席科学家 Jakub Pachocki 在那篇长文里写，公司的评测显示「我们依赖思维链监控的能力正在逐渐减弱」，并列了三条原因：现代推理模型的推理过程越来越多地和与人的沟通、与其他 AI 的沟通以及工具使用混在一起；模型越来越善于推理和操弄自己的推理过程；预训练变强之后，模型不用显式推理也已经聪明很多5。他自己的结论是，通用 AI 进展会越来越受制于对监控的信心5。

三周之后，这份文件把监控列为三道防线里的最后一层，要求强制可监控性、要求监控对既往事件高召回，并且列了一条：不要让自动评分器在强化学习里看到思维链，理由是防止模型演化出规避思维链监控的能力1。

两处放在一起读，这是这份文件里最值得停一下的地方。最后兜底的那一层，它的仪表正在被公司自己承认地退化；文件对这一层给出的三个动作是设阈值、让评测数据保持新鲜、别让评分器读思维链，三条都在保护这台仪表。它现在的读数够不够用，这份文件没有给出证明。

安全论证交给谁，文件写到的最外层是内部监督组和审计：论证要向内部监督组、例如安全与安全委员会开放，审计方要拿到足够访问权去核实其中的主张1。六天前那份第三方评估文件把「独立评估训练、评测、内部部署与外部部署的安全论证」列为四个优先评估方向的第一条，并说正在与多个第三方讨论3。外部评估的方向写出来了，训练安全论证这份文件里还没有它的位置。

其余几条边界集中在范围与证据上。文件说这些做法正在内部实施中，因此现在能核的只有文本本身，它是否真的在跑、跑到什么程度，材料没有给。全篇是自我报告，没有第三方核验，也没有附上可复现的评测或数据来支撑那些阈值。范围只到前沿强化学习训练，文件自己写明内部与外部部署要考虑宽得多的对齐属性1。部署那一侧另有其文，Preparedness Framework 管的是能力达到 High 或 Critical 档时的保障与披露要求6。