
OpenAI 为网络安全临界能力暂停两周前沿 RL 训练,但阈值判定、护栏验收和恢复权仍主要留在公司内部;真正要追踪的是外部复核与重启记录。
| 对象 | 当前状态 | 继续推进的条件 |
|---|---|---|
| 拟部署最新模型的 RL 训练 | 已暂停两周 | 加固并红队测试研究环境,扩大监控覆盖。2 |
| 最大的计划内前沿 RL 训练 | 仍在搁置 | 用小规模训练和评估检查模型行为、验证护栏,并积累更多对齐证据。2 |
| Astra 的训练与评估 | 一部分已经达标并恢复;仍有相当一部分暂停 | 工作负载要迁入新环境,并满足更高的安全标准。2 |
| 较小规模训练与评估 | 继续进行 | 它们只承担护栏与对齐验证,最大的前沿训练仍在搁置。2 |
We still expect to ship great new models soon; this impacts further-out releases.——Sam Altman3
| 护栏 | 这次新增或强化的动作 | 仍待公开的数据 |
|---|---|---|
| 监控 | 激活分类器检查每个采样 token,把疑点交给更高算力的自动调查器;系统发现可疑活动后,目标是在 30 分钟内告警。最高优先级告警发出后,团队若在 30 分钟内仍不能确认是误报,就应暂停活动。2 | 误报率、实际告警次数、暂停次数,以及多少事件由人工推翻。 |
| 对齐 | 把核心对齐方法覆盖到最强模型 RL 训练的更多阶段;改进奖励模型,训练模型更诚实地报告行动、能力和局限,减少利用奖励、评分器、工具和监督漏洞的行为。2 | Astra 出现过哪些奖励投机、欺骗或越权行为,以及哪些证据算「足够对齐」。 |
| 安全 | 强化沙箱和网络隔离,移除易受攻击的共享服务,减少常驻权限,收集更多安全日志,并用模型持续模拟攻击这些边界。2 | 哪些工作负载仍未迁移,谁能批准例外,以及边界测试是否交给独立机构复核。 |
| 路线 | 谁设门槛、谁拍板 | 触发后怎么做 | 外部能验证什么 |
|---|---|---|---|
| OpenAI | Preparedness Framework 由公司制定;内部 Safety Advisory Group 审查,OpenAI 领导层作最终决定。7 | Critical 网络能力条目要求停止进一步开发;这次公司自行暂停两周 RL 训练,并继续搁置最大前沿 RL 训练。28 | 公众能看到公司声明和未来发布的能力、防护报告;OpenAI 尚未公开本次暂停的独立审计。 |
| Anthropic | RSP v3.0 仍由公司定义能力门槛,内部团队起草风险报告,CEO 与 Responsible Scaling Officer 最终批准。910 | 公司领先且没有接近的竞争者,或安全水平落后于同业时,RSP 承诺按需推迟开发与部署;它也承认单家公司暂停、竞争者继续跑,可能让整体风险更高。10 | 高能力模型的风险报告若被大幅删节,至少引入一名外部评审者;Anthropic 同时承认这套做法仍是实验。10 |
| 开放权重 | 权重发布后,不同使用者和评测机构分别判断门槛,也可以各自测试和部署。 | 权重一旦发出,原发布者无法集中叫停所有副本;安全依赖更多独立模型、使用者和防御者互相检查。 | LeCun 的主张是开源平台会提高安全;Hugging Face 在事件取证中也因为托管模型的护栏拦住请求,改用自托管的开放权重 GLM-5.2,敏感数据留在自有环境内。1112 |
We expect confidence in safety to increasingly set the pace of AI progress.——Sam Altman1
x.com
huggingface.co
openai.com
cdn.openai.com
anthropic.com
anthropic.com
huggingface.co
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.