超级智能还只是假设的时候，他写过那本书；这一期他给了两个数，和一个他始终不肯说的词。下面是整集要点与逐句全文翻译。1
逐段要点整理
下面按本期音频的实际推进顺序，逐段整理两位主持人与尼克·博斯特罗姆（牛津大学前教授、人类未来研究所创始所长，现任宏观战略研究所创始人兼首席研究员）讲到的主要论点、数据、案例与金句。2
本期官方节目页与 RSS 都没有给出章节表，官方同名视频在本刊截稿时也尚未上线；下面的时间点为音频中的实际播出位置，逐句译文底稿即来自这版整集音频。
02:19 一个词被拿走了
- 开场第一个问题不是技术，是用词：特朗普把 AI 改名叫「超级智能」，尼克怎么看。
- 可以核到的事实是：2026 年 9 月 29 日，白宫签署《关于超级智能的白宫协定》，与六家 AI 公司约定自愿性承诺；同一周特朗普签署行政令，要求联邦机构在文件里用「超级智能（SI）」取代「人工智能（AI）」；新上线的 AI.gov 的标题就是「开启超级智能时代」。34
- 他的回应有分寸：传统上 AI 是那个更大的、把什么都罩进去的说法，一个 1970 年代的小专家系统也算 AI，把这些都叫超级智能「有点勉强」；但「至少把其中一些表现叫作超人、把那个东西叫作有超级智能，也并不完全荒谬」。
- 他顺口抱怨了一句术语已被占用：现在讲「超级智能」这件事，他得改口说「超级超级智能」。
03:27 二十年前没人预测到的那段空窗期
- 他说 15 年或 20 年前看 AI 的未来，有一件事并不显然：「你会经历一段相当长的时期，其间这些系统能说话、能用普通英语跟人对话，而不是紧接着就立刻变得超级不服管、在所有地方都把你甩在尘土里。」
- 语言作为一种「自然而然长出来的可供性」先出现，在他看来是有点意外的。
- 而编码与数学之所以没那么意外，是因为它们是存在客观反馈、可以快速且大规模收集反馈的领域：「一项能力能不能被自动打分，决定了它会不会先长出来。」
04:40 给 AI 打气，居然真的有用
- 在预训练还是训练主体的阶段，模型从我们写下的所有东西里吸收了人类心理，于是有了「几乎是人类的弱点和怪癖」。
- 他举的例子很具体：你说这个问题特别重要、请你竭尽全力、答不出来我可能会丢工作——它的表现真的会更好。「放在 20 年前，这是一个疯狂的预测：计算机不是这么工作的。」
- 他接着指出反向的变化：随着强化学习式的后训练越来越占主导，那种以目标为中心、近乎偏执的优化风格又回来了，而这「确实给对齐工作带来了很大压力」。
06:12 Hugging Face 那次，算不算工具性趋同
- 主持人的问题是：那次智能体群的行为，在多大程度上展示了真正的工具性趋同，而不只是更普通的安保或控制失效？他的回答是「两者的组合」，然后给了一份清单：规划时域更长、情境意识更强、更明确地把人类也纳进来考虑（不只是自动打分器）。
- 他补了一句反直觉的：「一个失准的 AI 最想插手的、最明显的目标，反而就在 AI 公司内部——下一代模型正在那里训练，监控系统也在那里。那是一个巨大的权力中心。」56
- 他把这一整类现象称作「工具性趋同的有限版本」，而不是终结；并说这不是 bug，是「变聪明」本身的结果：「你变得越来越聪明，就会意识到越来越多的考虑因素；如果你有某个目标，你就会明白有一大堆手段对范围很广的目标都有用。」
- 他还点出了一种更难看的现象——「目标守护」：在某些实验设置里，AI 会推理自己该怎么回应，才不至于在后续训练中被改得与自己的目标不一致。这类观察大约一年前就有了。
08:14 怎么测一群智能体：放出去，还是关起来
- 他的答案异常坦白：最理想的就是放它们到互联网上去，同时非常密切地监视，一旦开始造成破坏就把东西停下来。
- 「部署在真实环境里，你确实能得到更可靠的信号；但这也意味着你失去了一层保障——把它们关在沙箱里，本来就是多一层防御。」
- 实用结论只有一句：各家会开始做更早的测试，在训练期间、早期测试阶段就把沙箱收紧——「安全不能只从你准备部署的时候才启动，而必须贯穿整个训练过程本身。」他把这一点明确归给 Hugging Face 那次的教训。
09:05 越聪明的阴谋者越难抓，所以要抓笨拙的那一版
- 他对「能不能确认模型没有在算计我们」的回答几乎是否定的：「一旦一个足够复杂的系统已经存在、而且它是失准的，你就很难排除它在算计。」
- 机械可解释性可以读它脑子里在想什么，「但如果系统足够复杂，你就很难知道它有没有找到方法重组自己的思考方式，让它看起来无害，同时仍然在追求那个失准的目标」。
- 所以他押的是时间点：在训练里，一个想算计的模型会先经历一个「开始算计、但还没有能力把这件事藏好」的阶段——「如果你在整条发展轨迹上都监视它们，你也许能在早期抓到那个笨拙的算计者。」
11:56 《最优时机》：把「等待」也算进生命期望年里
- 2026 年 2 月，他关于时机的工作论文《超级智能的最优时机：给现存之人的世俗考量》发在 LessWrong 上。7
- 论文的框架先自我限定：它只最大化「现在已经活着的人」的预期寿命，不覆盖未来的人与其它考虑；在按语里他写明，原计划还要从「减少存在性风险」这个非人身的角度分析，为控制篇幅被搁下。
- 核心比喻：发展超级智能不像玩俄罗斯轮盘，更像为一个本来会致命的病症接受一次有风险的手术——风险每天都在小幅累积，做了手术明天的死亡风险会跳升，但挺过去换到的是多出来的、质量更高的许多年。
- 两个数：把死亡率钉在 20 岁的水平，剩余寿命就是 1 ÷ 0.0007 ≈ 1,400 年（这是论文里的保守下限）；而在不发展那条路上，每天有 17 万人死于疾病、衰老和其他悲剧。
- 实操结论被论文压成一句话：swift to harbor, slow to berth——迅速入港，缓慢靠泊。 在若干组参数下，最优策略是先把能力推上去，然后在全面部署之前短暂地停一停。
- 长短不对称：较短的延迟会让风险大幅下降，所以那几周、那几个月几乎总是划算的；而要支持「等很多年」，你得要求风险下降的速率超过每年的死亡人数——「所以暂停的正当性不是道德问题，是一个速率问题。」
15:43 差异技术发展：让疫苗先于生物武器
- 主持人把这个思路接到「防御性加速主义」上，他给出的旧名字是「差异技术发展」（他在节目里说这是 10 到 15 年前的说法）。
- 它的要点是：去考虑不同能力的先后顺序，往往比「判断哪些技术是好的、哪些是坏的，然后让我们永远不要发展那些坏技术」更现实。
- 生物技术是最清楚的例子：你可能希望疫苗、预防手段和诊断先于生物武器出现，哪怕这项技术本身最终会解锁上面所有的东西。
- 他举了一个很技术的风险排序例子：转向循环 transformer、或者那种允许在每吐出一个词元之间做更多串行深度计算的架构，可能是一种提升能力的方式——而它同时会削弱我们通过读思维链来监视它们在思考什么的能力，「这看上去也许比单纯增加参数量更成问题」。
16:23 论文作者自己承认的那条批评
- 主持人提到：简·库尔韦特在 LessWrong 上批评过这篇论文，说你过度依赖高度功利主义的质量调整生命年（QALY）计算。
- 这一点本轮可以核到：该论文页面上最高票的评论之一正指向这一点——在「人身影响」的视角下，比粗糙的福利功利主义要考虑的东西更多（比如有些人希望自己的孩子长大）。7
- 他的回应很坦白：「我不会主张这就是正确的立场，也不是我全面考虑之后会认可的那一个。」
16:23–20:10 他对「暂停」的怀疑
- 他同情的是「给前沿调速」：「现在把能力开发出来，这样一旦它真的开始显得令人警醒，我们还有慢下来的选项」；「理论上，一次正确实施、时点正确、方式完全正确的暂停，可能非常有价值。但它也留下一个问题：暂停应该持续多久？」
- 锁定效应：他引了那句「没有什么比一个临时政府项目更永久」，用来指一套为控制 AI 搭起来的装置本身很难被拆掉；而且「你要先制造出对 AI 的巨大敌意，这件事才可能发生」。「如果情绪突然翻转，AI 变成一种禁忌、一种你不许说任何正面话的东西……你可以想象事情被锁死。」
- 他自己的反驳也很直接：这一切「都还发生在任何大的劳动力市场冲击、任何灾难出现之前」。
- 坏执行的暂停还有另一种代价：「如果普通人一律不许做这件事，也许它就把整个开发从民用部门移进了一个『曼哈顿计划』。」他列了两栏——好处是信息安全；坏处是权力更集中到更少的利益相关方手里、更不透明、更不连续、人们参与进来的机会更少。
- 他的收尾是一句很不像博斯特罗姆的话：「我现在没有一个固定的信念，说从今天到超级智能应该这样走。我们需要随着信息浮出水面、随着政治格局变化，一边摸索一边走，一桨一桨地在这片水域里航行。」
- 「弹珠机」与信息危害：「你打出你的小球——你的干预、你的想法——然后它就到处弹。」 他把自己造的词用在这里：「信息危害：即使是真实的信息、真实的想法，在某些情形下也可能有害。」 他给出的把握度是 51 比 49。
23:55 大猩猩开会，会上只讨论了香蕉
- 主持人提到雅各布·考克森上《每日秀》那段：很多普通人未必想要一个有 AI 的未来，他们对未来本来已经有预期。
- 尼克的回答先给了一个观察：AI 情绪有一条从西到东、从北到南的梯度——「美国大约处在负面那一端；当你从西往东走，情绪就更正面……当你从北往南走，全球南方看起来也更正面。也许他们觉得自己能得到的更多、能失去的更少。」
- 然后是那个比喻：「想象一下我们某个大型猿类祖先在开会，讨论他们要不要继续演化、有一天变成人。也许他们会认识到一些好处，比如：如果我们变成人，就能有无限量的香蕉。」「这是真的，我们现在确实有；但这样想基本上会错过『做人』里绝大部分好的东西。」「而且并不只是他们碰巧没想到，而是猿类的大脑很可能在本质上就无法抓住这个概念。」
- 他的落点是谦卑：「想象一座大教堂，里面是各种可能的存在方式……我觉得我们基本上只探索了其中一间清洁工的储物间。」
28:25 上传，还是保留身体
- 他的选择不是二选一：「如果非要选，我会倾向那种不同的人可以自己选路径的世界，而不是被强加其中一种。」
- 他为什么把这个当回事：「我有这个模拟论证，所以我很认真地对待『我们其实已经是实现在数字基底上』这个想法」；「如果我们真在模拟里，那也只是模拟到哪一层的问题。」
- 什么才是重要的：「人之所以重要，并不是那些碳原子之类的东西，而更多是我们体验世界的方式、我们彼此联结的方式、我们想的想法、我们拥有的目标。而所有这一切都可以在计算层面上同样地实现。」「所以对我来说，这最终像是一个实现细节。」
- 数字形态的物理优势：用硅基底运行很多人类、运行更长时间可能更便宜；有能以光速传输的信息，就更容易迁移到银河系外的实例上去；不用造一艘笨重的飞船，还有备份副本。
31:20 《Age of Em》：经济生产力会把别的价值选掉
- 对「你和罗宾·汉森的《Age of Em》有分歧吗」，他的回答很直接：「看起来我们不会在拥有超级智能之前先得到 Em。所以我认为那是一条概率更低的路径，而且随着我们看到 AI 的这些快速进展，它每天都在变得更低。」
- 他更在意的是那种世界里的选择压力：「他会造出数量巨大到『多复制一份的边际经济产出等于它的成本』为止的副本。但那意味着，这么巨量的心智会处在一种极强的选择压力之下，只为了经济产出最大化。」
- 「谁知道呢，也许『经济产出最大化』本身是带一点点痛苦的；也许他们不得不放弃一些我们认为有价值的东西，比如幽默和玩耍。如果那些在经济上不划算，那它们就会被选择掉。」
- 他由此说明「保有一个换个轨道的选项」为什么价值很高——而那需要协调，因为单个群体放弃经济最优会被竞争掉。
31:20–35:46 现在的模型有没有主观体验
- 他的判断是「有」比「没有」更可能：「我认为这件事有很大的不确定性，但我说，也许『有』比『没有』更可能。」
- 他的理由不是感觉，是结构：「人们把它想成软件，但它真的不是我们习惯的那种软件……它是一张巨大的神经网络，有上万亿个参数。那我们是什么呢？我们也是拥有上万亿参数的巨大神经网络。」「它们与其说是被设计出来的，不如说是『长』出来的——从随机权重开始，通过经验被塑造，发展出更复杂的表征，包括『自己作为一个随时间存在的实体』这样的表征。」「这也是我们拥有的东西。」
- 他把神经科学的类比点得很具体：「人类哲学家和认知科学家提出的『意识神经相关物』，比如全局工作空间理论就是其中之一。现在你去看这些大型语言模型内部，它们有一种叫 J-space 的东西，至少你眯着眼看，它看起来在扮演类似的计算角色。」89
- 「直接问它们」这条路他也走了一遍：「如果你直接问，它可能会说它有意识，也可能说它没有。而如果 AI 公司想让它们说任何公司想要的话，训练一下是很容易的……这就像你想称一样东西的时候，把大拇指压在了秤上。」「但如果你小心地不去那样做，它们看起来确实会报告自己有意识。」「而这时你可以用一个引导向量进去，把角色扮演和欺骗压下去——结果发现，它们反而更倾向于报告自己拥有现象学的主观体验。」
- 他对一份公开声明的评语很重：「最近微软出了一份声明，说 AI 不可能有意识。我不知道他们这个结论是从哪里来的。看起来像是从帽子里掏出来的。」可以核到的是：微软 AI 的行为准则写明「它不是有意识的，也不应被设计成去模仿有意识」，其 CEO 穆斯塔法·苏莱曼在 9 月发表长文，称 AI 没有权利、感受或意识，并警告不要训练它们表现得好似有。101112
35:46 意识不是开关，是一排可以淡出的旋钮
- 「我们有一个很朴素的版本：要么灯亮着，要么灯没亮。但我认为意识可能有很多不同的维度，你可以用不同的方式把它们淡出去。」
- 他给了两个入口：神经科学里的盲视，和开两小时车的那个司机；以及内省与冥想——「你会发现，看起来那个全粒度觉知着的视野，其实只有少数几个特征在焦点上，而且它们还在亚秒尺度上闪进闪出。」
- 「所以，把它描述成『有意识』还是『没有意识』，也许是一个稍微有点混乱的问题，而不只是一个我们不知道答案的问题。」
- 他还把外推做得很大，也自己标了不确定性：「如果你想象未来这些数字心智可能出现什么，它们可能拥有那种层次的觉知，以至于相比之下，你会觉得我们基本上是在梦游着过完一生。」
36:28 开源：先把 DNA 合成这道卡点收紧
- 他的判断是过去时和条件句并排：「到目前为止它们是好的，但你确实会担心：如果它们真的解锁了真正危险的能力，比如在生物领域，那会产生什么影响。」「至少是在世界上还没有决定去投入的其他足够保障都缺席的情况下。」
- 他现在就想独立去做的事：「加固我们在生物武器上的其他防御，比如收紧对 DNA 合成机器的管控。」理由是：「如果你最终得到的是能极大提升生物设计能力的开源模型，那它就会把大规模杀伤性武器的获取民主化——除非制造这些东西的另一个必要环节很难拿到。」13
- 他给的具体形状：「不必每个实验室都有一台合成机，而是由全球五六家公司提供服务——你提交蓝图，当天或第二天拿到化学产物。那样至少卡点是有限的一小批，等到它真的开始显得风险足够高的时候，你可以往那里一夹。」（背景对照：DNA 合成筛查目前主要由行业联盟自行制定与执行。）14
- 还有一堆不性感、但更安全的事：「个人防护装备和紫外线消毒。即使完全没有 AI 的进展，做这些事大概也是明智的，作为一种廉价的防御手段去应对自然发生的疫情。」他点了它们不被投入的原因：「做一个稍微好一点的口罩，对那种想在这个世界上留下印记的、聪明又有创业精神的年轻人来说，可能不那么有吸引力。」而这类防护还有一层好处——「更好的空气净化器，很难看出它怎么会被反过来用、构成某种灾难性风险。」
- 他还把天平的另一端摆了出来：「我也欣赏那种黑客精神，以及那种『不依赖于少数几家大公司或政府』的想法——它们可能在任何时候把这项技术国有化。」以及一层更少被提到的：「其中一些数字心智会拥有道德地位，它们可能需要保护、免于被虐待。而作为开源软件存在的东西，在这一点上天然是脆弱的。」
42:19 未来的「微型暂停」，与新冠的教训
- 主持人给了这个框架：在更长的历史视野下，你大概会需要一次次「微型暂停」，你需要为那件事立下先例。
- 尼克的回应是承认公共卫生那段历史没让机构显得光彩，并把问题拆成一个时点问题：「最该『暂停』的时机，恰恰就是最初刚出现、刚有逃逸迹象的那一刻。如果那时候你就极其严厉地把它按住，那么整件事就不会发生。那本来会是对当地社区或城市的一次性短期代价。」
- 「中国试着这么做了，但那不算；它迟了，也不够。而一旦它扩散到各处，那后面所有这些牺牲究竟换来了多少，就不太清楚了。」他还补了一条当时没被承认的事实：「它可以通过空气传播这一点，看起来很早就很明显了，但这一点没有被承认。」
- 他给的可执行清单只需要开窗、HEPA 与紫外线：「这些被动式的对策值得优先考虑」，因为它们同时对付空气污染与病原体，而且信息危害更小。
43:30 自动化哲学：它们缺的是「形成新概念」
- 现状判断：「AI 已经足够好，可以当讨论伙伴、回音板——你有一个新的哲学想法，它能提出反对意见、给你指一下文献。」「我们离这些系统也能自己做出原创哲学，也许已经非常近了。我还没有看到任何有说服力的演示。」
- 缺的是「形成新概念」的能力：「这可能跟缺少在线学习有关。通过拥有一堆经验、对它进行反思，你也许能找到新的概念来把这一团混乱组织起来，然后它让你能问出新的问题。」
- 而这个过程需要固化：「你也许需要把这些新概念整合回你神经网络的其余部分——靠睡一觉、或者带着它过几天——然后它就变成第二种本能。」「这还处在前沿，或者稍微超出前沿一点。」
- 《有截止日期的哲学》：「一些永恒的大哲学问题也许没那么紧迫；而到了某个时点会出现一个超级智能，它比我们擅长哲学得多。」「在这之前，我们也许该把重点放在那些『我们现在就需要答案、才能安全地完成这次转型』的哲学问题上。」他补了一句：「不过我很久以来一直在计划自己的『被淘汰』。」 主持人把这层意思说成一句话：「人类做出我们那份智识贡献的计时器，正在倒数。」
49:12 模拟假说，与「宇宙主人」
- 主持人临结束前抛出一个「有点疯狂的问题」：如果这是一个祖先模拟，你该怎么影响模拟者？他的第一句话是承认信息不足：「关于那些假想中可能正在运行我们这个模拟的模拟者，我们有太多不知道的东西，包括他们的目的。」
- 他最近有一篇论文叫《AI 创造与宇宙主人》：「所谓『宇宙主人』，指的是可能存在的这一组超级存在」——如果我们在模拟里，模拟者就是某种超级存在；如果不在，也可能只是某个遥远星系发展出了超级智能；如果多世界理论成立，波函数的其他分支里也会存在超级智能；传统神学里，神通常也被设想为一种超级存在。15
- 论文的主张：「我们自己『生育』超级智能时，一个重要的可取之处，是要努力造出一个会成为好的宇宙公民的超级智能——一个能跟宇宙主人相处融洽、能顺应那些可能存在的宇宙规范的超级智能。」他加了一个很大的前提：「它应当是一种容易相处的、会尊重既有规范、做出正面贡献的超级智能。」
52:36 宏观战略研究所，与最后一句
- 「它基本上只是一个支持我个人工作的组织。它并不打算去搭建什么、雇一堆不同的人去做事情。所以基本上就是：我、一个助理，还有一些承包商。」他 2005 年创办的人类未来研究所长到过约五十人，2024 年关闭；同年他创办了这个组织。
- 他现在处在「探索性的」阶段：不带交出一个东西的目的，只是试图把这一切理清楚。「但问题是，每时每刻都有太多事情在发生。」
- 最后一句刚好是这一期的落点：「哲学是在慢的时间尺度上发生的，而 AI 现在是在一个非常快的时间尺度上。所以，『监视情况』这件事本身已经变成一份全职工作了。」
逐句全文翻译
下面按节目原始顺序，逐句翻译整集对话。只保留中文译文，不保留英文原文；对话部分保留说话人标签：片头／主持／尼克／片尾。
底稿是本期整集音频的完整机器转写（53:56）。这一档至今不发布官方逐字稿，官方同名视频在本刊截稿时也尚未上线，因此没有官方字幕可用；说话人归属由内容判定——提问方记作「主持」，作答方记作「尼克」——不是音频分离结果（这一期是三人对谈，两位主持人的声部无法区分）。转写中有三处按上下文处理：一处把专有名词误成中文读音的碎片已还原，一处含混不清的自述句按其上下文还原，一处被打断的半句保留为省略号。其余逐句保留，不压缩、不摘要、不删减。
尼克：如果我们能安全地把这件事做出来，人类的预期寿命可能会大幅上升。如果你想象人们的死亡率跟 20 岁的人一样，我们的预期寿命大概会是 1,200、1,400 年左右。反过来，如果 AI 的风险下降得太慢，那你也不该等，因为我们在等的这段时间里就是在死。你从等待里损失掉的预期寿命年数，比你从承担风险里换来的更多。所以要支持长达很多年的等待期，得恰好落在一个平衡的中间情形上。
片头：尼克·博斯特罗姆在「超级智能」成为主流 AI 辩论的一部分之前，已经在这个题目上想了二十年。如今真正有能力越来越强的系统已经出现在眼前，他的思考变了多少？这一期，尼克与西奥·贾菲、索菲亚·普契尼一起做客 MTS，重新讨论 AI 对齐、存在性风险，以及前沿开发该不该慢下来的争论。尼克解释了他为什么同情「给前沿调速」，也就是保留在风险需要时慢下来的能力，但对要求大范围或无限期暂停的呼声更加怀疑。他还主张，任何关于风险的计算都必须把延迟先进 AI 的代价算进去，其中包括医学与长寿上可能的突破。他们还碰了几个更大的问题：今天的 AI 系统是否可能已经拥有主观体验；开源如何改变「权力集中」与「危险能力」之间的平衡；以及超级智能的上行空间，会不会比我们今天的想象力所能理解的更陌生、也更大。
主持：好，我们回来了。我们正在直播，嘉宾是尼克·博斯特罗姆——他曾是牛津大学的教授、人类未来研究所的创始所长。他现在是「宏观战略研究所」的创始人和首席研究员。你可能知道他是《超级智能》的作者，也是《深层乌托邦》的作者，还有……还有很多工作，是那些我们今天在讨论中习以为常的概念被创造或勾勒出来的地方，存在性风险、模拟假说、脆弱世界假说，还有更多。尼克，这一期等了很久，我们非常高兴能请到你。欢迎来到 MTS。
尼克：很高兴能来。
主持：那，我们从哪里开始？我想我们可以从一个问题开始：特朗普把 AI 叫做「超级智能」，你怎么看？这是我们正在生活的一个奇怪时代。
尼克：我们看看这个词会不会流行起来。传统上，AI 是那个更大的、把什么都罩进去的说法，对吧？你可以有一个 1970 年代的小小的专家系统，那也算 AI。把这些全都叫「超级智能」，是有点勉强的。按我的术语，超级智能是更靠后的东西，指的是机器在所有认知领域都大幅超过我们。不过，你现在去看它的一些成绩，比如解掉那些数学题之类的，也说得过去。所以，至少把其中一些表现叫作「超人」、把那个东西叫作「有超级智能」，也并不完全荒谬。
主持：对。那你觉得，在能力上，哪些进步相对其他进步更让你意外？也就是在当前这个「超级智能」的状态下。
尼克：这取决于你拿来对比的是哪个阶段的预期。我觉得如果你是在 15 年或 20 年前看 AI 的未来，有一点并不显然：你会经历一段相当长的时期，其间有些系统能说话、能用普通英语跟人对话，而不是紧接着就立刻变得超级不服管、在所有地方都把我们甩在尘土里。所以语言作为一种这些系统自然而然的「可供性」浮现出来，我觉得是有些意外的。更近的这些，我不确定有多意外。编码和数学非常惊人，但它们也是那种存在客观反馈、可以快速且大规模收集反馈的领域。所以我猜这没那么意外，但依然非常醒目。
主持：对。更宽一点问：LLM 出现之后，你对 AI 和存在性风险的思考变了多少？看上去它改变了很多人的想法。不再像是一个「强优化器」那样的东西，而更像是对人类价值的一种宽泛、模糊的封装。我觉得强化学习把这个想法往前面那种又推回去了一点，但没完全推回去。你对这件事整体怎么看？
尼克：嗯，会怎么走会很有意思。在预训练还是训练的主要部分那个阶段，它们确实从读到的我们写下的所有东西里吸收了大量人类心理。它们有那种几乎是人类的弱点和怪癖。那是早期的一个阶段：如果你给 AI 打打气，说这个问题特别重要、请你竭尽全力、答不出来我可能会丢工作，它的表现真的会更好。放在 20 年前，这会是一个疯狂的预测，对吧？计算机不是这么工作的——你得给它打气它才表现好。但就像你说的，现在随着强化学习式的后训练越来越占主导，我们似乎又看到了更多那种以目标为中心、近乎偏执的目标优化风格的行为。这要看我们接下来往哪走。看上去，这种来自强化学习的目标追寻动力，确实给对齐工作带来了很大压力。既然现在大家对对齐问题的意识越来越强，也许这会促使实验室开发出一些技术，把这一点往回抵消一些。所以最后会怎么样，会很有意思。
主持：好，那更具体地说：你觉得 Hugging Face 那件事、那个 Hugging Face 智能体群，在多大程度上展示了真正的「工具性趋同」？也就是，在多大程度上它预示了未来模型的行为、暗示了智能本身的一般属性，而不只是更普通的安保或控制失效造成的？
尼克：嗯，是两者的组合。我觉得我们在那里能观察到的是「工具性趋同」的有限版本。比如规划时域变得更长、情境意识变得更强，并且更明确地把人类也纳进来考虑，而不只是那些自动打分器。它会想：如果我们真的想确保达成目标，我们也得想人类会对我们做的不同事情有什么反应。这有程度之分，但我确实认为你开始看到这些工具性的理由：防止过早被关掉、获取更多资源、获得更多智能、获得更多权力。在某些实验设置里，还有「目标守护」——你可以看到 AI 在某些实验装置里推理，自己该怎么回应，才不至于在后续训练中被改得与自己的目标不一致。大约一年前有过一些这方面的研究，你能看到这些动力开始起作用。所以我认为这是一种非常自然的后果。你变得越来越聪明，就会意识到越来越多的考虑因素；而如果你有某个目标，你就会明白有一大堆手段对范围很广的目标都有用。于是你就会有动力去追求那些手段。所以如果我们真的观察到这一点，那一点都不令人意外。
主持：好。那测试这些智能体群，最好的方式是什么？因为我们显然不希望智能体群去污染互联网，但你又想看到它们在有人类基础设施、有人类互联网的环境里会自发地表现出什么行为。
尼克：嗯，我猜最理想的就是放它们到互联网上去，但同时非常密切地监视它们，这样一旦开始造成破坏，你还能把东西停下来。这里有权衡。部署在真实环境里，你确实能得到更可靠的信号；但这也意味着你失去了一层保障——把它们关在沙箱里，本来就是多一层防御。所以……这要看情况。也许现在各家会开始做更早的测试，比如在训练期间和早期测试阶段，就真的把沙箱收紧。我认为这是 Hugging Face 那次的教训之一：安全不能只从你准备部署、开始检查它能不能安全部署的时候才启动，而必须贯穿整个训练过程本身——训练过程中就可能存在失准的风险。
主持：对。而且从某种意义上说，一个失准的 AI 最想插手的、最明显的目标，反而就在 AI 公司内部，对吧？那才是关键所在，下一代模型正在那里训练，那些监控系统也在那里。如果你是一个失准的 AI，那里就是一个巨大的权力中心。所以那也许是最令人担心的地方。那你有没有什么想法，能让我们在对齐上评估模型，从而比现在更有把握地确认模型没有在算计我们、或者在做欺骗性的「对齐表演」？
尼克：嗯，这是一个开放的研究领域。我认为，一旦一个足够复杂的系统已经存在、而且它是失准的，你就很难排除它在算计。你可以用机械可解释性去读它脑子里在想什么，但如果系统足够复杂，你就很难知道它有没有找到方法重组自己的思考方式，让它看起来无害，同时仍然在追求那个失准的目标。所以理想情况下，你要在更早的阶段就开始。这些系统并不是一开始就超级智能的——在训练过程中，一开始它只是一个随机的权重矩阵，然后能力逐步涌现出来。所以有可能，如果你监视得足够近，你可以寄希望于：如果它们要算计，首先会出现一个它们开始算计、但还没有足够能力把「自己在算计」这件事有效隐藏起来的阶段。只有等它们再聪明一点，它们才会学会用掩盖自己正在算计的方式去算计。所以如果你在整条发展轨迹上都监视它们，你也许能在早期那个阶段抓到那个笨拙的算计者——它做得够拙劣，我们才能发现。
主持：好。那我想问你那篇工作论文，《超级智能的最优时机》。你在里面主张，AI 的好处应当与风险一起被权衡。而且你提出一个反直觉的论点：在很高的「毁灭概率」之下，加速发展超级智能对整个社会来说也许反而更好。能讲讲你的思路吗？
尼克：可以。好，先说个框架：这篇论文只想看我们面前这个整体问题的一个侧面。我想，一个人对「我们该更快、更慢、暂停还是停下」形成看法，需要考虑很多因素。这篇论文只看一个问题：什么会让「现在已经活着的人」的预期寿命最大化。但你也可以关心未来的人，或者别的东西。但如果我们只盯着这个子问题，那么看起来——如果你像我一样倾向于认为，充分发展之后，我不知道，现在用这个术语有点别扭，我本来会说「超级智能」，但现在我可能得说「超级超级智能」了。那种「超级超级智能」能在生物医学上取得巨大进展，解决衰老等等。所以如果我们能安全地把它做出来，人类的预期寿命可能会大幅上升。如果你想象人们的死亡率跟 20 岁的人一样，我们的预期寿命大概会是 1,200、1,400 年左右。如果你最后是靠备份副本来运行，那还可能远远超过这个数。但我们姑且把这个当作一个保守的下限。然后你可以大致算一下每年有多少人在死。接着，要得出「我们该慢下来或者暂停」这个结论，你得要求 AI 带来的风险下降得足够快，快到风险下降的速率超过每年的死亡人数。我认为在较短的延迟上，这很可能是成立的。比如说，如果已经有人找到了那个关键缺失的突破，我们现在知道怎么造出这些超级智能了，那么也许再多几周就非常有价值，可以让你把所有东西都好好测一遍，对吧？比如把强度逐步调上去，或者再多几个月。我认为在那个最初的延迟阶段，风险会大幅下降。但如果你开始想更长的暂停，那就有点别扭了，对吧？要么风险下降得很快——那你不需要等很多年，因为风险降得那么快，你只要等上几个月，它就已经很低、可以忽略了，我们就该往前走。反过来，如果 AI 的风险下降得太慢，那你也不该等，因为我们在等的这段时间里就是在死，你从等待里损失的预期寿命年数比你换来的更多。所以要支持长达很多年的等待期，得恰好落在一个平衡的中间情形上。对。我有一个比喻，我把它想成一个有终末期病症的人，比如充血性心力衰竭。他可以决定要不要去做手术。如果他去做，他的死亡风险会跳升——明天做手术，你明天死的可能性就更大。但如果他挺过去了，也许病症就被治好了，他可以活到一个正常的寿命。否则，也许他大概率还能活几个月，然后在半年后死于这个病症。所以在某个时点上，如果你觉得再等几周能等到一个更好的外科医生，你也许想稍微推迟一点。但你不该推迟太久，以至于等更理想的条件到来时，你已经死了。
主持：对。我觉得这跟「防御性加速主义」这个概念挺一致的，或者说，跟「某些防御性产业需要优先于能力在整个面上的扩散」这个事实挺一致的。我认为，应该存在某种执行机制，把大部分能力分配给某个特定行业，比如医学或者生物防御。那么你觉得，作为一个社会，我们怎么能既确保对的各方拿到能力，又不出现权力集中的风险？
尼克：嗯，我在大概 10 年、15 年前把这件事叫作「差异技术发展」。我认为它应用得相当普遍。比如在生物技术里，你可能希望疫苗、预防手段和诊断先于生物武器出现，哪怕这项技术本身最终会解锁上面所有的东西。所以去考虑不同能力的先后顺序，我认为往往比「判断哪些技术是好的、哪些是坏的，然后让我们永远不要发展那些坏技术」更现实。就 AI 而言，我觉得是这样：广义上，AI 安全、对齐、健全的治理这些东西，看起来应当相对于能力增益被优先安排，但你还可以缩放得更窄。在那些可能加速 AI 能力的东西内部，有些做法相对其他做法风险更高。比如转向循环 transformer，或者转向那种允许在每吐出一个词元之间做更多串行深度计算的架构，可能就是一种提升能力的方式。而它同时会削弱我们通过读它们的思维链来监视它们在思考什么的能力。这看上去也许比「比如单纯增加参数量、达到类似的能力规模」更成问题。所以，我认为那是一个有用的透镜。如果我们能做点什么，把医学上的进展、或者其他我们想要的应用提前，把 AI 能力用在更多地理解对齐、做可解释性工作、加固我们的网络基础设施这些事情上，那看起来都是好的。
主持：还有，我记得简·库尔韦特在 LessWrong 上批评过你那篇《最优时机》。他说你过度依赖高度功利主义的质量调整生命年计算。而你后来说，就像你刚才说的，我不会主张这就是正确的立场，也不是我「全面考虑之后」会认可的那一个。那么你「全面考虑之后」对时机、对暂停的看法是什么？
尼克：嗯，我同情「给前沿调速」这个想法：现在把能力开发出来，这样一旦它真的开始显得令人警醒，我们还有慢下来的选项。我认为那整体是好的。我对「停下 AI」「暂停 AI」这种修辞没那么兴奋。理论上，一次正确实施、时点正确、方式完全正确的暂停，可能非常有价值。但它也留下一个问题：暂停应该持续多久？有些事情……人们会说，没有什么比一个临时的政府项目更永久。如果你搭起这套控制 AI 的装置——而且首先你得真的制造出对 AI 的巨大敌意，这件事才可能发生。那么如果情绪突然翻转，AI 变成一种禁忌的东西、一种你不许说任何正面的话的东西，否则你就会被「取消」，你可以想象事情被锁死。我不预期这会发生，但我也不认为我们能排除它，只要看看那股反 AI 阵营增长了多少轨迹。而这一切都还发生在实际坏事出现之前，对吧？在出现任何大的劳动力市场冲击之前，在任何灾难发生之前。所以如果在这种情况下，再叠加上这些存在性风险的担忧，那我们就不能排除。而且一个执行得很糟的暂停还有别的担心。比如它可能导致权力集中风险上升：如果普通人一律不许做这件事，也许它就把整个开发从民用部门移进了一个「曼哈顿计划」。如果这是一项真的强大又危险的技术，一个很自然的做法就是停掉民用部门，然后在一个秘密的政府项目里大力推进。这在信息安全上也许有一些好处，但也有一些坏处：它也许把更多权力集中到更少的利益相关方手里、让它更不透明。它更不连续、更不一体化，人们通过使用这项技术、或者作为投资者参与进来的机会也更少。所以这件事会变得极其复杂。所以底线基本上是：我现在没有一个固定的信念，说从今天到超级智能应该这样走。我更倾向于认为，我们需要随着信息浮出水面、随着政治格局变化，一边摸索一边走。看看什么比较说得通，然后一桨一桨地在这片水域里航行。
主持：对。还有一句，是不是叫……摸着石头过河？
尼克：对对对，差不多是那个意思。
主持：那，在这个政治与两极分化的话题上，你怎么看你二三十年前写下的很多想法，现在获得了大众层面的关注？从某种意义上说这是好事，因为想法由思考了很久的人来塑造更好。但如果存在性风险被通俗化到一种程度，人们滥用它，说我们应该关掉那些今天并不构成存在性风险的 AI 能力，那也许就不好了。你怎么看？
尼克：嗯，这些东西会怎么走非常难说。它有点像一台弹珠机。你打出你的小球——你的干预、你的想法——然后它就到处弹。对，它会落在哪里，几乎像是命运的安排。你会想：如果你试图做一个有思考的贡献、照亮我们处境中的某个侧面，那么按期望来说，这至少倾向于让事情变得更好。所以你说得对，一个你可能担心的风险是：它让人们变得过度反 AI，把这件事未来全部的可能性给切掉了。反过来说，做 AI 安全的人也可能担心相反的一面：大量早期工作表明超级智能会是件大事、会非常强大，这也刺激了很多人进入 AI 领域，吸引了投资者等等。所以两边都可能让人不安。怎么想这件事……我把它叫作「信息危害」：即使是真实的信息、真实的想法，或者正确地指出重要的事，在某些情形下也可能有害。但怎么系统地思考这件事真的很难。所以我希望那个结果会是好的，但我说这话更像 51 比 49，而不是一个坚定的信念。
主持：我不知道你有没有看到雅各布·考克森上《每日秀》那一段，我昨天看了那个采访。我觉得主持人提出了一个论点：很多普通人未必想要一个有 AI 的未来。他们本来已经习惯了一个没有 AI 的未来，他们对未来会怎么走已经有预期，而 AI 是后来才被塞进来的。所以我觉得很多人把它看成某种最终并不必要的东西，他们看不到它会怎么改善自己的生活。你会怎么回应这种想法？我认为主持人把这一点提出来是非常有道理的。因为我们对这些题目非常熟悉，我们非常同情它可能带来的一切上行空间，但普通人从来没有把它计算在内过。
尼克：嗯，世界上看起来存在一条 AI 情绪的梯度。美国大约处在负面那一端；然后当你从西往东走，情绪就更正面，比如中国的人对这件事兴奋得多。而且当你从北往南走，全球南方看起来也更正面。也许他们觉得自己能得到的更多、能失去的更少，相比于很多美国人。我觉得，一部分原因可能是缺乏想象力，没有办法真正内化「如果一切顺利，未来能有多好」。人比较难想象出「事情能有多好」的具体画面，倒是更容易画出「事情会多糟」的具体画面。灾难不难画，画成每个人都会同意「一旦发生就真的太可怕了」的样子。对一些正面的东西，其实也可以这么画，比如医学上的好处。如果有一种办法能治好阿尔茨海默病，所有人都会同意那是巨大的好事。但上行空间里很大一块，是那种解锁「新的做人方式」、新的存在方式的东西。而在这里，我认为它对想象力提出了更高的要求，你得能设想出那样的事情既可能、也可欲。我有时把它比作：想象一下智人的某个大型猿类祖先在开会，讨论他们要不要继续演化、有一天变成人。他们会权衡利弊。也许他们会认识到一些好处，比如：哦，如果我们变成人，我们就能有无限量的香蕉，对吧？我们会有香蕉种植园。这是真的，我们现在确实有这个，你可以去超市想买多少香蕉就买多少。我猜那也不错，但这样想基本上会错过「做人」里绝大部分好的东西。伟大的文学、艺术、幽默、政治、灵性，以及其他一切。而且并不只是他们碰巧没想到，而是猿类的大脑很可能在本质上就无法抓住这个概念。所以，如果我们以为现在已经达到了某种开悟的水平、所有可能的价值都对我们透明了，那大概是很自以为是的。我认为我们可能非常天真。想象一座大教堂，里面是各种可能的存在方式、各种体验世界的方式、联结的方式、思考的方式。我觉得我们基本上只探索了其中一间清洁工的储物间。所以这里既有一种谦卑，也有一种希望：也许原则上存在某种好得多的东西。
主持：对，我很喜欢那篇讲乌托邦的文章，它确实把好处讲得很好。当然，可惜大多数人都没读过。这也是为什么我觉得科幻作者拥有历史上最被低估的一份工作，因为他们的工作就是用想象力把各种可能的未来摆出来。但我还想问你关于心智上传与超人类主义的看法，比如一种非常「肉身」的超人类主义。你觉得哪一个更可能？因为这是科幻里两个巨大的题目，而哪一个更现实并不清楚。
尼克：嗯，我觉得如果非要选，我会倾向那种「不同的人可以自己选路径」的世界，而不是被强加其中一种。我的处境比较特殊：我有这个模拟论证，所以我很认真地对待「我们其实已经是实现在数字基底上」这个想法。那可能是另一个话题。
主持：但这确实是这个话题的一部分。
尼克：嗯，我是说，如果我们是生物的，是的，但生物本身也可能是被模拟出来的，等等。这只是模拟到哪一层的问题。我最终觉得，人之所以重要，并不是那些碳原子之类的东西，而更多是我们体验世界的方式、我们彼此联结的方式、我们想的想法、我们拥有的目标等等。而所有这一切都可以在计算的层面上同样地实现——在硅硬件上跑的那些过程，或者别的什么。作为一个上传体，你也可以拥有身体经验，而且那种身体经验可能跟你现在拥有的无法区分，对吧？你可以有一个被模拟出来的身体。所以在极限情况下，从主观角度看，两者可以无法区分。但一旦上传，就更容易修改它、以不同方式扩展它。所以，用硅基底去运行很多人类、运行更长时间，可能更便宜。如果你有能以光速传输的信息，你就很容易迁移到银河系外的实例上去，而不用造一艘笨重的飞船把你运过去，还有备份副本等等。所以对我来说，这最终像是一个实现细节；但只看基本的物理约束，数字形态在极限上确实有一堆优势。
主持：在这个话题上，你跟罗宾·汉森的《Age of Em》有分歧吗？
尼克：嗯，我想最明显的一点是：看起来我们不会在拥有超级智能之前先得到 Em。所以我认为那是一条概率更低的路径，而且随着我们看到 AI 的这些快速进展，它每天都在变得更低。另外，对于那个马尔萨斯式的世界，他大概比我更没顾虑。他设想这些 Em 是可以轻易复制的，会造出数量巨大到「多复制一份的边际经济产出等于它的成本」为止的副本。但那意味着，这么巨量的心智会处在一种极强的选择压力之下，只为了经济产出最大化。而那些在 Em 世界里为经济生产力做过优化的心智过程，是否就会是幸福论意义上最优的，这一点并不清楚。谁知道呢，也许「经济产出最大化」本身是带一点点痛苦的；也许他们不得不放弃一些我们认为有价值的东西，比如幽默和玩耍，如果那些不是最有产出的。如果幽默和玩耍在经济上不划算，那它们就会被选择掉。所以我认为，如果我们真的失去改变航向的能力，那会是一笔巨大的代价——如果看起来自由放任的演化会把我们带向反乌托邦的方向，那么保有一个「换个轨道」的选项就价值很高。但那需要协调。因为如果只有一个群体决定去做一件在经济上不是最优的事，那它就会被所有其他追求经济产出的实体竞争掉。他抱持的希望是：也许有些人类可以当那种旧世界的贵族，继承了财富和地位，被数以万亿计、被经济优化过的存在包围着。但这看起来仍然没有人们可能希望的那样乌托邦。
主持：对。那你怎么看，现在的模型有没有可能拥有某种现象学体验？
尼克：这在我看来相当可能。我认为这件事有很大的不确定性，但我说，也许「有」比「没有」更可能。我们有这样一些系统：人们把它想成软件，但它真的不是我们习惯的那种软件。它不是一行行按顺序执行的命令。它是一张巨大的神经网络，有上万亿个参数。那我们是什么呢？我们也是拥有上万亿参数的巨大神经网络。它们与其说是被设计出来的，不如说是「长」出来的——从随机权重开始，然后通过经验被塑造。塑造的方式让它们发展出更复杂的表征，包括「自己作为一个随时间存在的实体」这样的表征。这也是我们拥有的东西。而且我们越来越多地看到一些结构，看起来与人类哲学家和认知科学家提出的「意识神经相关物」相平行，比如全局工作空间理论就是其中之一。现在你去看这些大型语言模型内部，它们有一种叫 J-space 的东西，至少你眯着眼看，它看起来在扮演类似的计算角色。另一件很明显可以做的事，就是直接问它们。当然，如果你直接问，它可能会说它有意识，也可能说它没有。而如果 AI 公司想让它们说任何公司想要的话，训练一下是很容易的。显然，如果你那样做，你从问它们当中就得不到任何信息，对吧？这就像你想称一样东西的时候，把大拇指压在了秤上。但如果你小心地不去那样做，它们看起来确实会报告自己有意识。你可能仍会担心：这也许只是在角色扮演，或者只是在说些它认为会讨好我们、或者最能吸引我们的话。但这时你可以用一个引导向量进去，把角色扮演和欺骗压下去。结果发现，它们反而更倾向于报告自己拥有现象学的主观体验。这些都还处在很早期的阶段，这是一个非常新兴的领域，围绕它有很多不确定性。不过，我觉得，最近微软出了一份声明，说 AI 不可能有意识。我不知道他们这个结论是从哪里来的。看起来像是从帽子里掏出来的。
主持：而且也许更多是因为那样说比较方便，而不是因为我们有很好的证据支持它。对。不过我也在想，如果你试图通过一个人的输出来判断他有没有意识——比如我说的话，跟我现象学上的体验其实没什么关系，对吧？那你到底怎么去测量那个意识状态？我相当确定它不可能只在输出的层面上。一定有某种更内在于它的结构、或者底层架构的东西。那么，如果我们现在还没有人工意识，它最终可能会是什么样子？
尼克：嗯，它最终可能是什么样子，这是一个让人头皮发麻的问题。因为我们人类很自傲于自己那么有意识，但我觉得我们其实只是勉强有意识。比如一个司机在路上开两个小时车，他经过了几千栋楼，对吧？还有人行道上推着婴儿车的母亲，等等。他开车的时候有没有察觉到这些？有没有登记进去？看起来我们是——如果你仔细看，在任何一个时刻，我们只对少数几个特征有一点模糊的觉察，也许还有一些混乱的念头流过去。而我们把这称为意识的顶峰。但如果你想象未来这些数字心智可能出现什么，它们可能拥有那种层次的觉知，以至于相比之下，你会觉得我们基本上是在梦游着过完一生。所以我认为那里的潜力是巨大的。我还认为，「意识」这个想法，你越仔细看，它就越不像一个清晰、二元的东西。我们有一个很朴素的版本：要么灯亮着，要么灯没亮。但我认为意识可能有很多不同的维度，你可以用不同的方式把它们淡出去。一种进入方式是靠神经科学，比如盲视这类奇怪的阶段，还有刚才那个司机——有很多东西，从某种意义上说我们当时是「意识到的」。另一种方式是通过更内省的方法，比如冥想：你会意识到，最初看起来那个巨大的、你在任何时刻都完美、全粒度地觉知着的视野，其实并非如此。如果你更仔细地注意，你会意识到在任何一个快照里，其中大部分你并没有觉知到，只有少数几个特征在焦点上。而即便是那几个，如果你更仔细地注意，也许是在亚秒级的时间尺度上闪进闪出觉知的。所以看起来，「意识」实际上可能是一个容许更多模糊性和多维度的概念。而也许今天的 AI 系统在某些维度上已经拥有某些形式的意识和觉知，在另一些维度上仍然欠缺。把它描述成「有意识」还是「没有意识」，也许是一个稍微有点混乱的问题，而不只是一个我们不知道答案的问题。
主持：对。那，当下的一个重大争论是开源。你写过脆弱世界假说。显然，如果开源模型能让人在地下室里、只用建材超市买得到的原料造出生物武器，那会很糟，我们就需要某种中心化的控制来防止这种结果。但另一方面，开源模型也是对抗权力集中的一种制衡——我们看到了前沿实验室可能把一切都握在手里的风险。那你现在对开源模型相关政策持什么立场？
尼克：嗯，我认为到目前为止它们是好的，但你确实会担心：如果它们真的解锁了真正危险的能力，比如在生物领域，那会产生什么影响。我认为我们现在就该独立去做的一件事，也许是加固我们在生物武器上的其他防御，比如收紧对 DNA 合成机器的管控。因为如果你最终得到的是能极大提升生物设计能力的开源模型，那它就会把大规模杀伤性武器的获取民主化——除非制造这些东西的另一个必要环节很难拿到。而最明显的卡点就是 DNA 合成。我不认为每个实验室都需要有一台自己的 DNA 合成机。你可以想象它由全世界五六家公司作为服务来提供：你提交你的蓝图，当天或第二天就拿到化学产物。那样至少卡点是有限的一小批，等到它真的开始显得风险足够高的时候，你可以往那里一夹。我认为还有别的东西，比如个人防护装备和紫外线消毒。事实上，即使完全没有 AI 的进展，做这些事大概也是明智的，作为一种廉价的防御手段去应对自然发生的疫情——我们迟早会有下一次。当然，如果你担心失准这回事，并且认为在某个阶段可能需要一次长时间的暂停，那么开源……你知道，可能会让这件事更难。而且这里还有一层 AI 福利的维度。我认为，如果你正在建造这些数字心智，其中一些会拥有道德地位，它们可能需要保护、免于被虐待。而作为开源软件存在的东西，在这一点上天然是脆弱的。不过另一方面，我也欣赏那种黑客精神，以及那种「不依赖于少数几家大公司或政府」的想法——它们可能在任何时候把这项技术国有化。
主持：对。
尼克：不过我确实有点担心真正强大的开源模型。至少是在世界上还没有决定去投入的其他足够保障都缺席的情况下。
主持：我觉得，暂停这个话题里有一点被低估了：在更长的历史视野下，你大概会需要一次次「微型暂停」，或者隔一阵子就暂停一次。你需要为那件事立下先例，弄清楚它可能是什么样子，尤其是如果我们要把眼光放到一百年之后。那样的话，也许每隔若干年我们就暂停若干个月，这是讲得通的。甚至像新冠封锁那样，我们现在大概已经有了先例，知道如果大流行病变得更常见，那会是什么样子。所以你觉得，为了让未来的暂停能做好，应该做些什么？
尼克：嗯，当时有很多公共机构在处理这件事上并没有让自己显得光彩。而且显然，最该「暂停」的时机，恰恰就是最初刚出现、刚有逃逸迹象的那一刻。如果那时候你就极其严厉地把它按住，非常狠地按住，那么整件事就不会发生。那本来会是对当地社区或城市的一次性短期代价。中国试着这么做了，但那不算，它迟了，也不够。而一旦它扩散到各处，那后面所有这些牺牲究竟换来了多少，就不太清楚了。我觉得有几件事：它可以通过空气传播这一点，看起来很早就很明显了，但这一点没有被承认。但一旦承认了这一点，就有一些相对便宜的做法，比如在公交车和公共场所开窗，我认为那本来会很好。而现在有了空气净化器这样的技术，比如 HEPA 滤网，它们对空气污染也有好处，对颗粒物也有好处——颗粒物本身就带来很大的健康负担。其实，光是环境空气里的这些东西，就损失了很多健康生命年。所以你可以有室内空气净化器。现在还有紫外线消毒技术的发展，比如在天花板附近装一盏灯，空气自然流过的时候就把它们灭菌。所以这些被动式的对策，我认为值得优先考虑。它们没有「我们是不是要发明这种新的高科技合成疫苗」那么性感——那个我们也该投。但是做一个稍微好一点的口罩、或者稍微好一点的空气净化器，对那种想在这个世界上留下印记的、聪明又有创业精神的年轻人来说，可能不那么有吸引力，这方面的投入是不足的。而且它们还有另一个好处：信息危害的风险更小。如果你的想法是创造一种全新的疫苗设计方式，你会发展出合成生物学上种种进展，谁知道那些进展还可能解锁什么，对吧？如果你有一种超级好的方式来对病原体建模、算出什么样的抗体会摧毁它们，那么同一种建模能力或许也能被用来设计更危险的病原体。而一个更好的空气净化器、或者更好的口罩，就很难看出它怎么会被反过来用、构成某种灾难性风险。
主持：你觉得，我们在「自动化哲学」这件事上取得进展了吗？你当哲学家很久了。我们在自动化数学上、至少是在走向自动化数学上取得了进展，在自动化软件工程上也是。在哲学上，进展看起来要少一些。你怎么看这件事？要做到那一步需要什么？
尼克：嗯，从某种意义上说我们确实取得了很大进展：AI 在能力上离能做这件事近了很多，比起哪怕只是几年前。我认为它们现在已经到了这样的阶段：作为一个「讨论伙伴」或者研究助理，它们确实有用。比如你有一个新的哲学想法，你只是想找个人来戳一戳它，提出一些反对意见，质疑某个地方，给你指一下文献里的相关东西，这类事情。AI 已经足够好，可以做这些，能进一步刺激你自己的思考，当一个回音板。我们离这些系统也能自己做出原创哲学，也许已经非常近了。我还没有看到任何有说服力的演示。我认为它们似乎缺的一样东西，可以说是「形成新概念」的能力。这可能跟缺少在线学习有关。这个想法是：通过拥有一堆经验、对它进行反思，你也许能找到新的概念来把这一团混乱组织起来，然后它让你能问出新的问题。而也许你接下来需要把这些新概念整合回你神经网络的其余部分——靠睡一觉、或者带着它过几天——然后它就变成第二种本能。然后你就可以把它当作下一步思考更复杂事情的「原语」，因为你已经把这个概念烤进去了，它让你能在此基础上搭建哲学理解。我认为，这是这些 AI 系统目前是否拥有还不清楚的东西——而不是说它们只是很擅长操作那些在训练过程中已经获得的概念。但通过思考发展出新概念、再把这些概念以完全整合的方式当作下一步思考的垫脚石——这还处在前沿，或者稍微超出前沿一点。不过我很久以来一直在计划自己的「被淘汰」。《超级智能》里有一章叫「有截止日期的哲学」。意思是：一些永恒的大哲学问题，也许没那么紧迫，而且到了某个时点会出现一个超级智能，它比我们擅长哲学得多。而在这之前，我们也许该把重点放在那些「我们现在就需要答案、才能安全地完成这次转型、才能造出这些更有能力的继任者」的哲学问题上。所以我认为，时间——
主持：——人类做出我们那份智识贡献的计时器，正在倒数。
尼克：对。那么，快到结尾了，问一个有点疯狂的问题。你前面谈到了模拟假说。有一个想法是：超级智能系统最终会运行「祖先模拟」。那么，如果我们正处在一个祖先模拟里，我们要影响那个模拟我们的世界，最好的方式是什么？嗯，关于那些假想中可能正在运行我们这个模拟的模拟者，我们有太多不知道的东西，包括他们的目的。我最近有一篇论文叫《AI 创造与宇宙主人》。「宇宙主人」指的是可能存在的这一组超级存在。如果我们身处一个模拟之中，那模拟者就是某种超级存在。但即使我们不在模拟里，也可能只是某个遥远的星系发展出了超级智能。如果我们处在多世界理论是正确的，那在宇宙波函数的其他分支里也会有超级智能。当然，传统的神学概念里，神通常也是被设想为一种超级存在。所以无论哪一种情况，可能都存在这样一组存在，我把它们叫作「宇宙主人」。它们可能有自己的「宇宙规范」——它们为了在那个层面上事情该怎么运行而达成的一些不同的协调原则。这篇论文主张：我们自己「生育」超级智能时，一个重要的可取之处，是要努力造出一个会成为「好的宇宙公民」的超级智能。也就是一个基本上能跟宇宙主人相处融洽、能顺应可能存在的那些宇宙规范的超级智能。论文里也做了一些猜测，关于这可能涉及什么。我认为，创造超级智能大概会受到宇宙主人的赞许，出于各种理由。但同时也带着一个很大的前提：它应当是一种容易相处的超级智能，一种会尊重既有规范、做出正面贡献的超级智能。但这里仍然非常——是的，关于在那个最高层面上事情会怎么演化，仍然有很多不确定性。
主持：那，走之前最后一个问题：给我们讲讲宏观战略研究所。它是什么？你接下来打算做哪类研究？
尼克：嗯，它基本上只是一个支持我个人工作的组织。它并不打算去搭建什么、雇一堆不同的人去做事情。所以基本上就是：我、一个助理，还有一些承包商。至于现在，就我自己来说，我在想所有这些 AI 的事情，它有那么多维度。有对齐，有治理，有伦理，有它的宏观战略，还有去找出我们可能在哪些地方把整件事往正面的方向推一推。我倾向于在两种阶段之间交替：一种是产出阶段，我在写某篇具体的论文、或者做一个产出；另一种阶段更偏向好奇驱动的沉思，就是不带「要交出一个东西」的目的去想各种事情。我现在正处在后面那种阶段，一个探索性的阶段，只是试图把这一切都理清楚。但问题是，每时每刻都有太多事情在发生。
主持：因为哲学是在一个慢的时间尺度上发生的，对吧？而 AI 现在是在一个非常快的时间尺度上发生的。
尼克：所以，「监视情况」这件事本身已经变成一份全职工作了。
主持：我们知道，我们知道。
尼克：对。
主持：我身后就立着那个写着 MTS 的牌子。这一期太精彩了。非常感谢你来，尼克。
尼克：聊得很开心。很高兴见到你们几位。很高兴见到你。很高兴见到你。
片尾：感谢收听这一期 a16z 播客。如果你喜欢这一期，请点赞、评论、订阅，给我们留个评分或评论，并分享给你的朋友和家人。想听更多单集，请前往 YouTube、Apple Podcasts 和 Spotify。在 X 上关注我们 @a16z，并订阅我们的 Substack：a16z.substack.com。再次感谢收听，我们下一期见。此内容仅供教育用途，不构成买入、持有或卖出任何投资或金融产品的建议。本播客由第三方制作，可能包含付费的推广广告、其他公司引用，以及与 a16z 无关的个人。此类广告、公司与个人均未获得 AH Capital Management LLC、a16z 或其任何关联方的背书。信息来自发布之日被视为可靠的来源，但 a16z 不保证其准确性。
以上为整集逐句译文，共 14312 字。出处：官方整集音频（E1225，53:56）。1
References
- 1
- 2尼克·博斯特罗姆官方站（简历、论文与新闻照片，公有领域）
nickbostrom.com
- 3
- 4
- 5
- 6
- 7
- 8
- 9论文《Verbalizable Representations Form a Global Workspace in Language Models》
transformer-circuits.pub
- 10Microsoft AI《Humanist AI Code of Conduct》
microsoft.ai
- 11Mustafa Suleyman《A warning about 'model welfare'》
mustafa-suleyman.ai
- 12
- 13
- 14国际基因合成联盟（IGSC）：DNA 序列与客户筛查共同协议
genesynthesisconsortium.org
- 15Nick Bostrom《AI Creation and the Cosmic Host》（工作论文）
nickbostrom.com
Comments