Altman 引用的那半句，Dario 自己在同一段写过「必须被阻止」
一句 2024 年的假设，五个月里被投资人、学者和 Altman 依次引用，最完整的一版在 7 月，最短的一版在 11 月 4 日；放回原文，它后面还有一个括号，和一句「必须被阻止」。
北京时间 11 月 4 日上午 9 点 40 分，Sam Altman 在 X 上发了三句话。1
第一句：「人们应当始终掌控未来。」1
第二句：「OpenAI 反对这样一种看法——把人降格去做『AI 系统认为值得在人类身上奖励的事』，是可以接受的。」1
第三句：「人们不应当把未来的控制权让渡给超级智能，而这条要求最终应当约束 AI 的进展。」1
没有配图，没有引用别人的帖子，第二句里的引号也没有说明是谁说的。1
两天前，他在阿布扎比 ADIPEC 能源大会的开幕对话里说，人而不是 AI，必须掌控未来。2
「别的很多事情都可以讨论，但这一件，我们认为不该有讨论的余地。」2
同一场对话里，他把这个立场说成了差异点：「我不敢相信这会让我们和其他 AI 公司有区别，但它确实有。」2
「不该有讨论的余地」说完两天，他在 X 上重新挑起了这句话。
被引号括起来的那半句，出自 Dario Amodei 两年前那篇《Machines of Loving Grace》的第五节「Work and meaning」。他是 Anthropic 的联合创始人兼 CEO。3
01 那句话在原文里的身份
《Machines of Loving Grace》的第五节回答两件事：AI 什么都能做了以后，人的意义从哪来，人又靠什么在经济上活下去。3
Dario 在节首先交代，这是他全篇最难、也最模糊的一部分，篇幅短只说明他没有清楚答案。3
然后他给出四种可能。3
第一种是给所有人发大额全民基本收入。3
第二种就是被引用的那句：一种「AI 系统的资本主义经济」，由 AI 系统把资源发给人类，依据是原文所说的「某种次级经济」。3
第三种是一本小说里的社交积分，第四种是人类最后仍然保住了经济价值。3
四种前面挂的都是 could，一个也没有被主张。3
整段还有一个前提：这些方案要等到「AI 变得又便宜又有效，人再也无法在经济上作出贡献」之后才开始谈。3
被引号标出的那半句，后面原本跟着一个括号：「（基于某种最终来自人类价值的判断）」。3
Altman 的引号在括号之前就关上了。3
同一段的结尾是 Dario 自己加的限定：这些方案都有大量问题，「剥削性的、反乌托邦的方向显然也可能出现，必须被阻止」。3
再往后一句：这些问题还可以写很多，他希望以后再写。3
02 改写换了三样东西
第三处：那个括号整个消失了。3
三处加起来，被批评的对象从「一个被设想过的分配方案」，换成了「一种关于人该干什么的主张」。
这次批评本身并不空。Dario 那个方案确实把判断放进了 AI 手里。3
括号里那句「最终来自人类价值」只是把问题往后推了一层：谁的价值，由谁读出来，读错怎么办，原文都没有答。3
节末那句「以后再写」，没有回来。3
2026 年 1 月那篇《The Adolescence of Technology》里，全文找不到「reward in humans」。4
03 五个月，这句话被引了五次
5 月 30 日，All-In 播客放出的一段片段里，投资人 Bill Gurley 逐字读了它。5
读完他说：「我不认为他们在写软件。我认为他们在接生一个神。」5
7 月 16 日，计算机科学家 Boaz Barak 写了一篇《All Watched Over》。他同时在哈佛和 OpenAI 任职。6
他把那种经济描述成「由 AI 扮演父母」，并说这「看起来很像一个仁慈的独裁者」。6
这是所有引用里写得最完整的一次：他保留了括号里的意思，也写明 Dario 自己承认了很大的不确定性。6
文末还有一句：「这篇文章是我在与 Sam Altman 讨论 AGI 之后决定写的。但这里的观点是我自己的，不代表 Sam、OpenAI 或哈佛。」6
8 月 16 日，Steve Hilton 用同一句话攻击 Dario。7
他的引文从「一种 AI 系统的资本主义经济」开始，中间用了省略号；前面那半句「它可能是」不见了。7
他的评论是：「这听起来非常像我父母在 1956 年苏联入侵匈牙利之后逃离的那种中央计划。」7
10 月 3 日，Gurley 又把整句英文单独贴了一遍，随后发帖让 Grok 去核这句话在不在原文里。8
11 月 4 日这一次，引号里只剩最里面那半句，没有名字，也没有链接。1
五次引用里，长的有两次；短的那两次，一次省掉了「它可能是」，一次省掉了括号。
最完整的反驳出现在 7 月，作者当时就在和 Altman 讨论 AGI。6
五个月后，Altman 引的是最短的那一版。1
04 他自己写过更长的版本
更早的一篇博文里，他写的是：「未来的控制权属于所有人，以及他们的制度。」9
同一段接着写：「我不认为应该由少数几家 AI 实验室，对我们未来的形状做出最有后果的那些决定。」9
10 月 29 日那集播客里，它变成了对模型的要求：你必须相信模型会重视「人掌控未来」这件事，永远如此。10
11 月 2 日，它变成了「不该有讨论的余地」。2
11 月 4 日，它变成了「应当最终约束 AI 进展」。1
从博文到帖子，短掉的是「制度」这个词。
05 一份规范、一份评估说明、一条帖子
10 月 29 日，OpenAI 更新了 Model Spec。红线原则里有一条：「人类应当控制 AI 如何被使用、以及 AI 的行为如何被塑造。」11
同一份文件的「忠实于人类意图」一节，把这条原则展开成两个互相冲突的承诺。11
一个是人类应保持控制：模型应受人类制度治理，行为应绑在这些制度实际决定的事情上。11
另一个是模型会在许多领域越来越强于治理它们的人；不去用这种能力改善人的生活、帮助人类走过这段过渡，是「短视的，而且可能带来灾难」。11
规范在这一段里承认了代价；帖子只给了要求。
再往后，文件把控制写成了可执行的动作：模型必须保持可纠正，对合法的监督开放，对纠正有响应，并配合「监控、评估、纠正、替换和关停」。11
9 月 22 日那份第三方评估文件里，「control」落在另一个位置。12
它问的是护栏够不够硬：「我们的失准监控有没有可能导向 loss of control 的关键缺口」。12
那份文件列了四类评估对象，第三类是按 Preparedness 框架划分的风险类别——网络、生化、AI 自我改进——做能力评估与对齐评估。12
06 四种安排，一条要求
Dario 给了两条路。第一条在 6 月，那篇政策长文把拦截权交给政府：前沿模型应当像飞机一样接受技术测试与审计，达不到安全标准，就以公共安全为由阻止或撤回发布。13
第二条在 9 月那篇《We Must Pace the Frontier》，结论句很短：「我们必须放慢提升模型能力的速度。」14
这条路分三步。第一步，每家前沿公司给一组常驻的外部评估者员工级权限——原文写的是工位、门禁、公司笔记本，以及和内部风险评估团队大致相同的工具与权限。14
评估者「应有权发表关于风险水平、事件、做法，以及他们获得或未获得何种访问权限的关键发现，且不受 Anthropic 的编辑控制」，公司不能因为结论不利就删改。14
第二步是民主国家之间的标准协调，第三步是全球协调。14
Demis Hassabis 是 Google DeepMind 的负责人，他给的是第三条路：一个机构。15
参照美国金融业监管局的形态，设一个前沿 AI 标准机构，由行业出资、独立技术专家进董事会。15
初期，前沿实验室自愿在上线前最多 30 天把模型交给它审查；协议被证明有效之后，可以转为强制，模型不过审就不能在美国市场部署。15
方案里还留了一道加码的余地：「情况需要时可以逐级收紧，包括协调前沿实验室之间的减速。」15
OpenAI 走的是第四条路：第三方评估，文件里也用了同一个词——开头就写「作为我们 pace the frontier 努力的一部分」。12
三家的差别落在访问和发表上。OpenAI 那边，评估范围要先由公司和评估者共同商定，访问权限按比例给。12
评估者保持编辑独立，但「允许实验室请求删除敏感信息」；无法完全公开时，向董事会一类治理机构密报也算问责。12
Anthropic 那边，员工级权限，删改范围写死，发表的主动权在评估者手上。14
07 一个，还是很多个
Dario 给他设想的那个东西起了一个名字：「一座数据中心里的天才之国」。3
整篇长文里，做事的、做决定的、发资源的，都是这一个东西。3
Altman 想要的是另一个形状。
还是 10 月 29 日那集 Cheeky Pint：「我直观上宁可要一万亿个略超人类的 AI 加入社会，也不要一个一万亿 IQ 的 AI 加入社会。」10
在这套设想里，资源从一个地方流出，谁拿到什么就得由一个判断来定，这正是 Dario 那段话描述的世界。3
智能如果分成很多份、各自进入社会，那个决定「什么值得奖励」的位置还存在吗？10
他反对的那句话，属于一个集中式的世界；他自己选的是分散。两个人在这里的分歧，是形状。
08 还没写的那部分
帖子里的三句话：第一句是价值，第二句是引文，第三句是要求。1
第二句可以对回原文。对回去的结果是：那半句后面还有一个括号，和一句「必须被阻止」。3
第三句要落成文件，缺的正是另外四条路各自都有的那样一个位置：谁有权拦。
References
- 1Sam Altman on X
x.com
- 2
- 3Machines of Loving Grace · Dario Amodei
darioamodei.com
- 4The Adolescence of Technology · Dario Amodei
darioamodei.com
- 5
- 6All Watched Over · Windows On Theory
windowsontheory.org
- 7Steve Hilton on X
x.com
- 8Bill Gurley on X
x.com
- 9Sam Altman 博文
blog.samaltman.com
- 10Why Sam Altman is against a single superintelligence · Cheeky Pint
cheekypint.substack.com
- 11Model Spec (2026/10/29) · OpenAI
model-spec.openai.com
- 12
- 13Policy on the AI Exponential · Dario Amodei
darioamodei.com
- 14We Must Pace the Frontier · Dario Amodei
darioamodei.com
- 15A Framework for Frontier AI and the Dawning of a New Age · Demis Hassabis
demishassabis.substack.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.