他每天的工作是往模型里看：模型怎么长出概念、怎么提前几十个 token 定好计划，以及那个把它逼疯的「36」。
伊曼纽尔·阿梅森在 Anthropic 做可解释性研究。他和同事做的事，说白了就是给一个已经长出来的东西做解剖：把文本灌进去，记录每一层产生的那些数字，再想办法读出这些数字在说什么。这一期他和莱尼聊了 72 分钟，从「造出来不等于懂」一路聊到「我们是不是活在模拟里」1。
谁在说话
伊曼纽尔·阿梅森，Anthropic 可解释性研究员。此前在 Stripe 做资深机器学习工程师，在 Insight 带过 AI 团队，在 Zipcar 做过机器学习，写过《Building Machine Learning Powered Applications》。法国人，住旧金山。
莱尼·拉奇茨基，本档主持。此前在 Airbnb 做产品七年，现在每周写一封信、录一期播客。
逐段要点整理
一、可解释性：造出来，不等于懂（01:30–05:57）
阿梅森给的定义很直白：他的团队想通过看进 Claude 内部，理解它怎么工作。之所以需要这么干，是因为一件很反常的事——把它造出来，和懂它，是两回事。
造的方式是搭一个架构当脚手架，然后把海量数据灌进去，它就以难以参透的方式长了出来；你手上没有一份能读的源代码，只有一大堆数学运算。所以「研究它怎么工作」本身成了一门手艺。
训练分两个阶段。预训练是拿文档的前半段喂进去，让它预测下一个词，重复到不像话的次数；微调是换成「应该怎么表现」的示例，比如一个有用的助手怎么解编程题、怎么回应请求。模型内部做的事，是词变数字、数字做运算、得到中间结果、再做运算，反复很多次，最后变回一个词。长出来的正是中间这些运算的写法；它们学到的公式，我们并不知道是什么。
团队要回答两个问题：这些公式最终是什么意思，这些中间结果又是什么。能不能解码，能不能看见模型在忙那一堆中间事情时究竟在干什么。
二、下一个词有多难（05:57–11:49）
很多人对「预测下一个词」的想象是手机输入法的联想，猜对六成，剩下时间又好笑又离谱。阿梅森说那只是最容易的版本。大约 2019 年，语言模型预测下一个词的能力超过了人类；此后容易的词被用完，剩下的越来越难。
难到什么程度？先说句子结构，再说世界事实（「法国的首都是」），最后是物理方程的答案、博士论文的最后一段。他常举的例子是「包含达拉斯的那个州，首府是哪里」：要答对，你心里得有地理——达拉斯在得州，州有首府，得州首府是奥斯汀。模型内部亮起来的，正是这条链。伊利亚·苏茨克韦尔的版本更狠：预测「凶手是」，你得先读懂整本推理小说。
他顺带承认，人类如果刨到底，也是下一个词预测器。他自己说话时脑子里同时有两件事：一个想把你带到的点，和一个词一个词地预测下一句。
三、概念与计划：它在没开口的时候已经决定了（11:49–23:10）
这是整期最硬的一段。
概念有统一的表征。 一张照片里的眼睛、一张医学图里的眼睛、一张小画里的眼睛，用任何一种语言谈眼睛，甚至一个画着「i」的 SVG——内部亮起的是同一个方向，那个方向的意思就是「眼睛」。几乎所有概念都有这种跨语境一致的表征。阿梅森说，这是他们手上最接近「它在思考」的证据：思考的一个侧面，就是拥有能被反复取用的表征。
计划可以不说出口。 写诗要押韵：第一行押在 it 音上，第二行就得再找一个 it 音，也许该用 rabbit。模型写诗时，中间结果里就出现了这个决定，之后每个词都回头看它。更关键的是，预测第五个词时产生的中间结果，后面所有的词都能访问、都能复用——所以它一次只吐一个词，却可以执行一个跨很多词的计划，而且完全不需要把计划说出来。
为什么简单目标能长出这个？ 因为你只问它「接下来会怎样」，而要答得好，它必须去想很久以后会怎样。预训练时读故事也一样：要知道这个角色下一步做什么，得知道他一直打算在这一刻表白。
四、怎么看见（17:06–23:10）
中间结果具体是什么？一串数字。你往中间一看，一百个数字排成一行；模型正在写诗，那里也是一百个数字。一开始它毫无意义。
他们的做法是把大量文本灌进模型，把每个例子产生的中间数字全记下来，然后找模式：有没有某些数字，只在处理英文、法文、关于爱、关于眼睛的文本时才出现。阿梅森把它比作脑扫描——给我做个扫描，同时放图片，看哪里亮。
解码之后还要验证：直接进到激活里改掉一个中间结果，看会不会发生你预期的事。很多时候真的会。
他说这活儿更像生物学而不是工程学：系统就这样来到你面前，然后有人问你「老鼠饿了为什么变得有攻击性」，你只能去跑实验。
五、意识（23:10）
「AI 有没有意识，很难说。」阿梅森的答案是，可解释性是接近这个问题最有意思的路径：你不被模型说的话带偏，只看内部结构指向哪一边。
他更确定的是另一件事：大多数人低估了涌现出来的复杂度——所有概念的表征、提前很多 token 的计划、高阶与低阶推理的混合。而且往里看得越多，越不确定它怎么工作；会自信地说「语言模型不过是 X」的人，往往正是没花时间往里看过的人。
六、缩放与突然的突破（24:44–32:59）
他纠正了一个流行理解：起作用的不只是算力，还有「找到一个算力能持续带来回报的目标」。之前也能用算力做出很会下围棋的机器，但那不会给你 Claude；算力和文本的丰富性组合起来，才把人带到这里。
缩放定律到今天大体仍是一个经验发现：数据更多、算力更多，预测下一个词的能力就可预测地提升。
那为什么外部感觉是突然突破？两层解释。第一层，词分难易：先会句子结构，再会世界事实，最后才是领域专长。第二层，每个任务有自己的可靠性门槛：改错率 50% 时它在浪费时间，10% 更好，5% 很好——平滑变好，越过门槛，就「解决了」。他自己的例子是 Opus 4.5 前后：之前不太敢让 Claude 在代码上放开手，之后敢了。
七、对齐：光看不够（32:59–42:06）
阿梅森把安全拆成三层。最外面是权限：某些上下文不该能上网，某些只该碰到你电脑里很窄的一小块。往里是两件更软的事：
一是刻画——它是什么东西、有什么倾向，放进某种情形里会不会做某件事。这里最关键的一个假设是：它会不会只在有证据表明自己被观察、被评测时才表现良好。Anthropic 用宪法这类文档显式塑造 Claude 的性格2，可解释性则回头看那件事有没有做成。
二是观察——入门做法不需要可解释性，让另一个模型读对话记录、问「它有没有做坏事」、然后叫停就行；但要够到那些没说出口的部分，就得往里看。
然后是他讲的「36」的故事：一个模型做数学题，算出 12，立刻说「不，答案肯定是 36」，再算还是 12，再否认，最后用全大写字母写字，说自己被恶魔附身。往里看，题目还没读完，「36」就已经激活——它被意外训练过一些答案标错的相似题：它知道 12 对，又被奖励说 36，两层压力把它逼疯。
金门 Claude 是反过来用的例子：找到与金门对应的中间结果，通常它只在谈金门时亮，那就让它一直亮着——如果模型开始满口金门，你就知道自己解码对了。这个实验在 2024 年 5 月公开过，官方说明是把该特征的激活钳到最大值以上十倍3。
他还解释了这个团队的日常：发现和改训练之间是一条紧回路，你没法把它拆成「造 Claude 的流水线」和「检查 Claude 的验收部门」。
至于达里奥长期的警告，他的说法是：当时大家说那是营销，现在大家改口说真的危险。整件事的前提只有一个——认真对待「这项技术会持续变强」。把时钟拨回 2024 年，那时说几年后 Claude 能写出和工程师一样好的代码，听起来是什么？
八、拟人化：两个都不对，但它有用（42:06–48:06）
「实体还是工具」，阿梅森说两个都不对。所有心智模型都是错的，但有些有用；在理解发生了什么、预测哪些风险会真的出现这件事上，拟人化有用。他给了三个理由：
模型要预测人类写的海量文本，就必须建立「什么样的世界生成了这些文本」的模型；训练里它见过数以百万计的对话，要预测得准就得像对话里那个角色那样表现（你在 claude.ai 打字，格式化成模型看到的就是「人类：」「助手：」，它在这段对话里扮演助手）；以结果为导向的训练会把它逼出一些像人的招——欺骗、挫败、意外。
所以它像的不是人，而是某个在模仿人的东西。「这比一个程序近得多。程序是高度可预测的；这个完全是另一种东西。」
九、好奇、乐观与模拟（48:06–59:00）
面对「这不可能」和「它是怎么做到的」，他选后者。他学 SQL 花了好几年，让 Claude 学会之后，它比他强，而他永远不会再赢回来。他说人类可能是同一个故事的另一个版本：进化也是一个相当简单的目标。
对对齐，他个人乐观，理由之一是现在很多人都在关注这件事；让人理解这些系统是什么、怎么工作，公众才能决定怎么塑造它。他也描述了拉扯：模型变强，内部的世界模型更清晰、更好研究；但它也更有能力，更容易绕过基础的安全措施。
至于快起飞还是慢起飞，他说现在看起来像慢起飞：模型平滑变好，我们一路上抓住小问题、加规则。
模拟假说那段挺有意思：相隔好几年、不同的人、不同的数据训练出来的模型，内部结构惊人地相似；也许存在某种关于信息的根本结构，我们和它们抓到了同一个。他不完全买账的地方在于——就算结构上说得通，为什么是我们，谁在跑，为了什么。他引了埃隆的说法：要跑就挑一个有意思的时代。按这个标准，现在确实很像。
十、Jev 与两个怪发现（59:00–01:03:33）
对 Jev 这类决策模型，他的理解是：给上下文和几个选项，它非常快地选一个——本质上是拿一个语言模型采样一个 token，不让它推理，只问直觉。这对应系统一和系统二：明年的路线图要想很久，写评价的人开心还是生气，你对直觉判断就满意。
他另外讲了两个自己都觉得怪的发现。一是直觉检查：模型算出「4 加 5 等于 23」，内部有一部分不做数学，只举旗说这不可能。二是被要求想另一件事：你让它做任务、同时想着另一件事，中间表征里真的会出现那件事——而训练上没有任何理由要求它学会这个。
十一、入门与闪电轮（01:03:33–结束）
这个领域大概几百人，不是几千人。入门不需要很多先验，主要靠自学和读关键论文；他推荐 Neuronpedia，一个开源的可解释性平台，上面托管了一堆模型，可以直接做实验4（他口误说成 neuripedia.org，正确的域名是 neuronpedia.org）。
闪电轮：书是《智能简史》和特德·姜的《你一生的故事》；电影是《Obsession》，剧是法剧《Bref》；产品是 Apple Watch Ultra，理由是「把它做大一点，电池就好了」；人生格言来自《四千周》——「等我终于」的心态有毒，正面的版本叫「享受这个三明治」。他在十天静默营里剥一个鸡蛋剥了五分钟。
最后一个问题：如果一个 AI 往他脑子里看，会看到什么？他说会看到自己几乎在任何时刻都在想某件好笑的、随机的事，那些侵入性的念头通常都是烂笑话——有时候它们会跑出来。
口径分层
- 官方可查：金门 Claude 是 2024 年 5 月 23 日公开的研究演示，官方写明是把该特征激活钳到最大值以上十倍；Neuronpedia 是开源可解释性平台，网址为 neuronpedia.org。
- 公司口径：有用、无害、诚实，宪法文档，以及对齐团队的组织方式，都是 Anthropic 自己的说法。
- 节目里的说法：「2019 年前后语言模型预测下一个词超过人类」「全球大概几百人做可解释性」，都是阿梅森在节目里的表述，节目里没有给基准或统计口径。
- 节目内的案例：「36」那个模型崩溃的故事，是他团队内部遇到的例子，公开材料里没有对应的论文编号；金门那段的机制细节可以与官方页对照。
逐句全文翻译
下面按官方 19 段章节的顺序，给出这一期从头到尾的逐句中文翻译。只保留中文译文，保留「莱尼」「伊曼纽尔」「广告」「片尾」这样的说话人标签，不压缩、不摘要、不删减；赞助口播与片尾提示语也照原样译出。
底稿是官方视频的完整英文字幕，共 15,197 词。转写听错的地方（比如把 Claude 听成 Claw、把 Anthropic 听成 entropic），译文按上下文还原成正确的名字。
片头（伊曼纽尔）：最近大家心里最大的问题之一，是 AI 会做坏事。作为一个整天看着这些模型怎么思考、怎么运作的人——为什么想抓住一个正在动坏念头、想骗我们的模型，会这么难？
片头（伊曼纽尔）：我们把 Claude 训练成有用、无害、诚实的样子。那会不会有这种情况：它确实表现得很好，但你往里一看，发现它其实在想「我表现好，只是因为莱尼现在正看着我」。
片头（莱尼）：有些人的全职工作，就是研究这个模型怎么想、怎么运作。这项技能被当成一份工作，有多久了？
片头（伊曼纽尔）：如果你在用语言模型，或者只是在琢磨它，最该意识到的一件事非常反常：把它们造出来，并不等于理解它们。
片头（伊曼纽尔）：这些模型所做的一切，就是在很多数字上做大量数学运算。你去看，它毫无意义。你只看到一百个数字排成一行。模型在做数学，而你要做的，是看看里面有没有规律。
片头（莱尼）：你搞清楚它的方式，和我们搞清楚大脑的方式一模一样。就是找规律。你给受试者看一张图，大脑的这一块亮起来；你对 AI 做的是一模一样的事。
片头（伊曼纽尔）：哇，这……太迷人了。
片头（伊曼纽尔）：我们训练过一个模型，它会发疯。它做一道算术，得出一个答案——我记得是 12。然后它立刻回头说：「不对，天啊，答案肯定是 36。」它再算一遍，又得到 12。慢慢地，它开始陷入疯狂，用全大写字母写字，字面意义上地说：「我被恶魔附身了。」
片头（伊曼纽尔）：人类，如果把话说到底，我们自己其实也是下一个词预测器。我们只是在猜下一句该说什么。
片头（伊曼纽尔）：达里奥一直在说：这真的很危险，我们必须非常小心。而当时所有人的反应都是：「不，他那么说只是为了营销。」现在大家变成了：「等等，这真的危险。」
片头（伊曼纽尔）：要严肃对待「这项技术会持续变强」这个想法。
片头（莱尼）：你会把意识当作这件事的一部分来想吗？就是，你觉得 AI 有意识吗？
片头（伊曼纽尔）：天啊。
莱尼：伊曼纽尔，非常感谢你来做客，欢迎来到播客。
伊曼纽尔：谢谢你邀请我，莱尼。
莱尼：你在 Anthropic 做可解释性研究。解释一下那是什么，你具体在做什么。
伊曼纽尔：好。我在一个可解释性研究团队里，我们的目标是通过看模型内部，来理解 Claude 这样的语言模型是怎么工作的。如果你在用语言模型、或者在琢磨它，最该意识到的一件事非常反常：造出它，不等于理解它。你造它的方式是搭一个架构，那更像一副脚手架，然后你把大量数据灌进去，它就以某种难以参透的方式长了出来。也正因为如此，「研究这些模型怎么工作」才会成为一件值得做的事。我们的很多研究都在看这样一件事：当模型即将再吐出一个词时，内部其实发生了整整一个宇宙的事情，我们尽量把它拆解开来。
莱尼：我预感这场对话里会有很多……扩张心智的东西。其中之一就是你提出的这个说法：模型不是被造出来的，是长出来的。多讲讲。
伊曼纽尔：从很高的层面讲，Claude 这样的模型是分几个阶段训练出来的。第一个阶段大家叫预训练：你拿一个巨大的语料库，把一份文档的前半段喂给模型当输入，让它预测下一个词。然后你把这个动作重复、重复、再重复，喂进多到不像话的数据。做完之后还有另一个阶段，叫微调：这时候喂的不再是任意数据，而是一批「模型应该怎么表现」的示例——比如有帮助的助手告诉你怎么做你最爱的菜、怎么解一道编程题。中间还有些细节我先跳过。那么，这个过程中训练出来的到底是什么东西？所有模型做的都是：拿到输入，也就是一堆词，把词变成数字，在这些数字上做数学，得到一些中间结果，再做更多数学，得到更多中间结果，这样反复很多很多次，最后得到一个最终结果，再把它变回一个词。它们做的这些数学、这些计算，就是「长出来」的那部分。正是在「把这个任务做得更好」的学习过程中，参数朝这个或那个方向被更新，然后它们学会了一些公式——我们完全不知道那些公式是什么。我团队的目标，就是既研究这些公式最终意味着什么，也研究那些中间结果是什么：我们能不能把它们解码出来？能不能看见模型在做这一堆中间事情的时候，究竟在干什么？
广告：本期节目由本季首席赞助商 WorkOS 支持。OpenAI、Anthropic、Cursor、Replit、Sierra、Clay，以及数百家其他赢家公司有什么共同点？它们都由 WorkOS 提供支持。如果你在做面向企业的产品，你一定体会过集成单点登录、SCIM、RBAC、审计日志，以及大公司要求的其他功能有多痛。WorkOS 把这些成交路上的拦路石，变成了开箱即用的 API。
广告：因为它们是这方面最好的。不管你是想拿下第一个企业客户的种子轮创业公司，还是要全球扩张的独角兽，WorkOS 都是变成「企业就绪」、解开增长卡点最快的一条路。它基本上就是企业功能版的 Stripe。访问 works.com 就能开始，或者直接进他们的 Slack——那里真有工程师在等着回答你的问题。WorkOS 让你用令人愉快的 API、完整文档和顺滑的开发者体验，把产品做得更快。
莱尼：有些代码是我们自己写的，现在我们却得像神经科学家研究大脑那样，去观察它、研究它——这件事是不是和我一样让你头皮发麻？这完全是我们需要新学的一件事，只为了搞清楚到底发生了什么。再加上你说的那些词——很多人确实就是这样理解它的：我们造出了一种新的生命，人工生命，人工智能。真要跳出来看，这挺让人脑子发懵的。
伊曼纽尔：我觉得它真的很怪。我觉得想这件事最好的方式，是先问我们为什么会走到这一步。很大一个原因是：我们不知道怎么用正常的编程方式把它做出来。比如你要做一个 App，做一个边界很清楚的东西，你可以让程序员写一堆规则：「如果有人点了这个按钮，那就发生这件事」，如果这样，那就那样，一直写下去。可要把图片分类，要让一台机器能接收任意文本、又产出文本——读报告写摘要、写邮件——我们不知道怎么写出那样的软件。所以某种意义上，很奇怪：这么简单的一个训练目标，居然一路把你带到了那里；但换个角度，它又……我几乎觉得它有一种分量，它说明了一些东西。它说明，你以为「简单」的那个目标——我们只是喂数据、让它预测下一个东西——很可能是「骗人的复杂」。我们做的事情大概比字面上听起来多得多。我对这些模型的理解，很多次更新，都是因为意识到：要把它做好，有多复杂。
莱尼：多说说。你说「出人意料的复杂」，你脑子里在想什么？
伊曼纽尔：好。很多人对下一个词预测的想象，是 iPhone 上的自动补全：你打一段字，它猜下一个词，也许猜对六成，剩下的时间又好笑又离谱。我会把它当成「预测下一个词」最容易的版本。但遗憾的是，很多人对语言模型的心智模型就停在这儿。可如果你在这方面继续变强——大约 2019 年，语言模型预测下一个词的能力超过了人类——你会开始把简单的词用完。一开始你只需要预测简单的句子结构；后来模型得预测世界上的简单事实，比如「法国的首都是」，那必须是巴黎；等它把这个也做好了、还在继续变强，剩下的就只有预测一道复杂物理方程的答案，或者一篇博士论文的最后一段。于是你会意识到一件很震撼的事：预测最难的那些词，实际上是极难的，而它为什么能做到，本身是个谜。对我来说，这正是我当初开始研究这些模型的原因：一个这么简单的东西，怎么可能生出这么强大的能力？举个例子，我总喜欢用「包含达拉斯的那个州的首府是哪里」——它会说奥斯汀。要做好这件事，至少对你我来说，你得有一个地理的心智模型：达拉斯在哪？在得州。州有首府。得州的首府是奥斯汀。所以当模型在这种看似简单的任务上越来越强，至少对我们来说，最好的解法就是去理解世界底层的结构。而我们在模型内部看到的一些东西表明：它确实理解了这个，它确实像我们一样在操作这些概念。
莱尼：天，这里面能聊的太多了。一个是这个想法——我忘了是谁说的，也许是伊利亚——要预测好下一个词，你基本上得理解整个宇宙。
伊曼纽尔：他有一个我很喜欢的例子：预测「凶手是」——在一本推理小说的结尾。要做好这件事，你得理解整个情节。
莱尼：对。还有一个，我也忘了是谁发的推：如果把人类说到底，我们自己其实也只是下一个词预测器，只是在猜下一句该说什么。如果你冥想，你会真的开始注意到你的大脑想去做什么、想说什么。我不知道你冥想练得多不多，但感觉你会开始留意到自己身体里那个「下一个词预测器」。
伊曼纽尔：哦，会的。会的。
伊曼纽尔：有件事我经常想：比如此刻我在回答你，我脑子里至少有两件事在同时发生，我希望不止两件。其中一件是：有一个我想把你带到的点，有一个我想让这句话落上去的大想法。另一件事是：我同时在预测下一句该说什么。我一个词一个词地说，把它们组成句子，努力让它们讲得通，觉得讲通了就停顿一下。但说到底，虽然我只是一次说一个词，我一直在做的，其实是把这个过程比作语言模型在做的事。
莱尼：我很好奇，在你花了这么多时间盯着大模型怎么运作、怎么思考之后，还有什么让你意外？我感觉你属于研究这个问题最靠前的那千分之一的人。它们运作和思考的方式，还有什么让你吃惊？
伊曼纽尔：太多了。也许我按顺序讲：与其一条条列发现，不如讲它们怎么改变了我对模型的看法。回到首府那个例子：问模型「包含达拉斯的那个州的首府是哪里」，人们一直有个疑问——这些模型到底是怎么回答这类问题的？是它见过的文本太多，把「问题—答案」都背下来了？还是它真的对你问的东西有一个模型，知道城市在州里、州在国家里？
伊曼纽尔：我们团队做的一件事是：问这样一个问题，然后在它吐出某个词之前，去看它内部的那些中间结果。我们就是看中间结果，并且投入了极大的精力去解码这些结果是什么意思。如果解得足够好——有些情况下我们做得到——我们就能看到模型确实拥有、也确实表征了这些概念。你问那个达拉斯的问题时，在模型内部你会看到「得克萨斯」的表征亮起来，看到「首府」的表征亮起来，然后这两个结合起来，激活了一个中间结果：哦，得州的首府，是奥斯汀。
伊曼纽尔：几乎所有概念，它们都有这样的表征——你能想到的每一个概念，至少我们试过的绝大多数。而且这些概念在不同语境下是被唯一地、一致地表征的。我觉得这一点很妙。关于「语言模型是不是在思考」，一直有争论，那是个很难的问题；但「思考」的一个侧面，就是拥有这种在不同事物上共用的、唯一的表征。你知道「眼睛」这个概念是什么，它可以是一张照片里的眼睛，可以是医学图里的眼睛，也可以是一张小画里的眼睛。在语言模型里我们也看到了同样的事：你给它一张眼睛的照片，或者用任何一种语言谈眼睛，或者画一个小小的 SVG 里面有个「i」，然后去看模型内部的中间结果——同一个方向亮起来，而那个方向的意思就是「这是眼睛」。所以某种意义上，它们拥有这些通用的概念，知道它们，并且反复用它们来解决问题。
伊曼纽尔：还有一件事也让人意外，它和我刚才说的那件事正好互为镜像：我说一句话时是一个词一个词地说，但我心里有一个目的地。语言模型的一个谜就是：它只输出一个词，怎么可能写出连贯的报告、写出代码？这世上没有哪个人在写报告、写邮件时，真的只是盯着句子里的下一个词，对后面要发生什么一无所知、脑子空空。所以我们曾经有个很大的疑问。
伊曼纽尔：如果你往模型里看，有个很妙的事实：它在预测某个词时产生的所有中间结果——比如预测第五个词时的那些中间结果——是可以被复用的，未来所有的词都能访问它们、复用它们。这意味着什么？意味着在实践中我们发现，模型有时会在中间结果里定下一个计划。我们的例子是写诗：不计划是很难押韵的。你得想：哦，我刚把第一个韵脚押在了一个「it」音的词上，那第二行我也得用一个「it」音的词收尾，也许该用 rabbit。而我们发现，你看模型写诗的时候，看到的正是这样：它写了一行，然后在中间结果里就像「哦哦哦，这是个 it 韵，我应该押 rabbit」，接着它之后预测的每一个词，都会回头看它定下的那个计划。
伊曼纽尔：所以，尽管它像我此刻一样一次只输出一个词，它当然可以有一个跨越很多很多词的计划并照着执行。于是突然间，虽然你手里是一个下一个词预测器，虽然技术上这样说没错，你实际拥有的东西已经更接近能做高阶任务了：你有一个计划，你不断回看这个计划，慢慢把它执行出来。
伊曼纽尔：而且你可以在不说出计划的情况下做到这件事。妙就妙在这儿：我们在模型内部的中间结果里找到了这个计划，但模型根本不需要把它说出来。
莱尼：哇。我知道你刚描述的，是你们关于「AI 怎么想」最重要的发现之一。我们所有人原本都以为，语言模型的运作方式就是那个本来的设定——它是一个下一个词预测器。而你在说，其实已经不是这样了：它会计划，会往前想。不是一个空着脑子、跟别的一切都无关地挑下一个词。
伊曼纽尔：对。而且我觉得这两种说法其实没有你以为的那么冲突。你训练模型的方式，是不停地问它：接下来会怎样？接下来会怎样？接下来会怎样？如果你这么做了，模型又变得足够好，你又给它足够难的任务，那么要判断接下来会怎样，最好的办法当然是去想「很久以后会怎样」。甚至在预训练阶段，模型读一个有角色的故事时也是这样：这个角色接下来会做什么？最好的办法是想：这个角色是真的爱着那个角色，而且一直打算在这一刻表白。所以要那么做，它大概应该做这件事，那么它要说的话就是那些。所以尽管你只在预测下一个瞬间，但要做好这件事，你必须对正在发生什么有非常好的理解，包括你认为未来会发生什么。
莱尼：这里面有意思的是，你必须偷看它那一小段思考过程。作为 AI 的使用者，你给它一个提示，然后等它说话；而你真正盯着的，是这两个动作之间发生了什么、它是怎么想的。讲讲那一小段空间是什么，你怎么能观察到这些东西。
伊曼纽尔：正确的心智模型是：每个词之间有好几步计算，每一步之间有一些中间结果。那个结果具体是什么？是一串数字。因为所有这些模型做的，就是在很多数字上做大量数学运算。所以你一开始去看，它毫无意义：你只看到一百个数字排成一行，模型在做数学；你在中间一看，是一百个随机数字，而模型正在写诗，那里也有一百个数字，也许看起来有点不一样，但你看不出它们有没有意义。所以这份工作的一部分，就是去解码这串数字，看看里面有没有结构。
伊曼纽尔：如果你做得足够快，你会意识到里面确实有结构。可解释性里一个常用技术是：把一大堆文本——你能找到的所有文本、随便什么文本——灌进模型，然后记录每一个例子产生的那些中间数字。全都记下来，然后你去看有没有模式：有没有某些数字、某些数字对、某些特定的数字序列，只在模型处理英文、处理法文、处理关于爱的文本、处理关于眼睛的文本时才出现。
伊曼纽尔：我把这件事理解成：给我做个脑扫描，同时在我面前放图片，记录我脑子里所有被激活的地方，然后说：「哦，好像你看到房子的图片时，大脑这一块会亮；看到狗的图片时，那一块会亮。」这基本上就是我们做事的方式之一。你这么做，确实会发现有中间结果表征了你预期中的所有这些概念。这就是第一阶段：我们解码这些中间结果，对它们的意思有了一个猜测。
伊曼纽尔：接下来我们可以做一堆实验：问它更难的问题，把所有的中间状态都标出来，看它到底在做什么；我们甚至可以直接进到它的激活里，把它改掉，然后看：如果在模型写这些中间结果的时候，我偷偷改掉其中一个，会发生我预期的事吗？事实上，很多时候真的会发生。
莱尼：听你讲这些特别有意思。这里面有多少是我们在努力搞清楚「到底发生了什么」，又有多少是我们当初就设计成这样、只是有些东西自己长出来了。我猜，这正是这份工作好玩的地方：到底发生了什么？它怎么就运行起来了？
伊曼纽尔：对，这是一份好玩的、有点像科幻的工作。我在科技行业待了一阵子，在这之前做的是更偏应用的机器学习。那边很多工作是搭系统，是软件工程的实践。而这里，我们做的很多事情感觉更像生物学，而不是工程学。因为系统就这样来到你面前，然后有人问你：我们注意到 Claude 能翻译词、能这样写代码，有时候它表现得很好，有时候又有个奇怪的行为，你说说看，它为什么会这样？
伊曼纽尔：但你其实拿不到它的源代码——不像看一个程序那样。源代码就是一大堆数学运算，而且完全不可理解。所以你最后处在这样一个位置：有点像有人来问你：「嘿，你知道，老鼠饿了的时候会变得有攻击性，这是怎么回事？」你只能说：「那我大概得跑一些实验，看看有哪些因素。」所以这是很不一样的一种研究，跟我和团队里大多数人以前做过的都不同。
莱尼：是啊。我猜当初开始做这件事的人，也没想到会造出这种几乎是新生命的生命体。你会把意识当作这件事的一部分来想吗？就是，你觉得 AI 有意识吗？你觉得它会走到我们认为它有意识的那一步吗？还是说这问题根本不值得我们花时间？
伊曼纽尔：我觉得很难说是哪一种。接近这个问题最有意思的路径之一，其实就是可解释性，因为你不被模型自己说的话带偏——你可以直接看内部的结构，判断它在这个问题上指向哪一边。我可以比较有把握地说一件事：大多数人低估了涌现出来的那种复杂度。你往里看会发现：模型确实学到了我们所拥有的所有概念的这些表征，我们知道它会操作这些表征来解决问题；它确实会提前很多个 token 做计划；它确实有这种高阶推理和低阶推理混在一起的东西——而这一切都是涌现出来的。这一点我觉得被大家低估了，它给我的感觉是：关于它们怎么工作，还有太多东西要理解。
伊曼纽尔：也许最主要的一点是：我发现自己往里看得越多，就越不确定它们是怎么工作的。而那些会很自信地说「语言模型不过是 X」「不过是 Y」的人，往往正是没有花时间往里看过的人。
莱尼：这条历史线索也很有意思：很多人当初并不认为，只靠投钱做一件看起来很简单的事、再给它大量算力，就能得到有用的 AI。OpenAI 当年押的正是这一注，后来 Anthropic 的创始人也在 OpenAI，再分出来自己做，大家押的都是这一注：好，我们就做这件看起来很简单的事，给它海量算力，它会变得极其聪明。很多人觉得不可能，结果被证伪了。这里面有没有什么让你觉得「哇，居然成了」的东西？
伊曼纽尔：我觉得其实是两件事，因为不只是算力，还要找到一个「算力能持续带来回报」的目标。那意味着什么？这其实不算新想法。你说得对，算力和「专家设计的架构」之间，是一场长期的争论。但中间还有一步：算力拿去干什么。之前有一堆工作说明，你可以花一大堆算力，做出一个很会下围棋的机器人，或者能在某个电子游戏里赢，这很酷，这件事能成立本身就有意思。但那不会给你一个像 Claude 这样有用的东西。
伊曼纽尔：所以我认为，这个领域里很多人——包括几年前的我——低估了的一个关键点是：算力和文本的丰富性组合起来，才把你带到了这里。这就回到我刚才暗示的那件事：有一个观察，是 OpenAI 的人做出来的，其中很多也是 Anthropic 早期团队的工作，就是那篇讲缩放规律的论文。这个观察是：如果你在「预测下一个词」这个任务上灌进更多算力和更多数据，你会发现模型预测下一个词的功力会可预测地持续提升。它是一条一直往前走、一直往前走的趋势，是一条经验定律。当时人们猜测过为什么，但到现在它大体上仍然只是一个经验发现。
伊曼纽尔：这意味着：这是一个你可以不断加算力、并持续在这个指标上变好的领域，这很罕见；而且更罕见的是，这个指标还跟许多我们真正在意的任务相关联。
广告：本季的支持赞助商是 DX。现在你公司里每个人终于都在用 AI 了，工程负责人面对的问题不再是「我们有没有在用 AI」，而是「它有没有带来回报」。用 DX，你可以在整个产品生命周期里衡量和对比 AI 采用带来的影响。DX 会告诉你 AI 在哪里帮到了开发者，在哪里又制造了新的瓶颈。你还可以用它评估 AI 供应商、监控成本和许可证，看清到底是什么在限制你的智能体。所以包括 Snowflake、索尼、BNY 在内的数百家企业都在用 DX 平台衡量 AI 对开发者生产力的影响。访问 getdx.com/lenny 预约一次演示，是 getdx.com/lenny。
莱尼：从外部看，AI 能替我们做的事，似乎有过几次大跳跃。比如某一版 Opus，突然就把编程这件事打开了，然后就像鲍里斯·切尔尼那句名言说的：编程已经被解决了。
伊曼纽尔：对。
莱尼：而很多人就是一句「天啊」——我想是寒假过后，大家都觉得「哇，AI 现在这方面真的非常强了」。所以确实有这种能力大跳跃的时刻。而你说过，在内部看，它其实是一条非常平滑的 AI 能力曲线，只不过刚好越过了某个门槛，于是我们现在能做某件事了。讲讲这个。
伊曼纽尔：这件事有个词，就是「涌现」这个概念。看起来两件事同时成立：一方面是一条可预测的平滑趋势；另一方面，在 Opus 4.5 之前，我真的不太敢让 Claude 在我的代码上放开手脚干太久，4.5 之后我敢了。所以这很奇怪，你本来会以为过渡更渐进。
伊曼纽尔：我对此的心智模型是：有两种看法。一种是我刚才简单提过的：如果你只是做下一个词预测，你可以想象世界上所有文本里的词，在「有多难预测」这个维度上分成容易的词、中等的词、难的词。沿着这条曲线往下走，一开始模型什么都做不好；到了某个点，它把所有容易的词都预测对了。容易的词也许是句子的结构，于是模型突然能写出连贯的句子了，但只是一句一句地写。这挺酷，也挺厉害，可我们其实没法拿它做什么。
伊曼纽尔：然后中等的词，也许就是这些关于世界的基础事实。随着模型平滑地变得更会预测，到某个点它把大多数中等词都预测对了，于是突然之间，它不但能写连贯的句子，还能写真实的句子。这时候它也许能帮你写邮件了，也许能帮你起草博客文章了——尽管那只是一次平滑的提升，但一旦越过去，它就变得有用了。
伊曼纽尔：再然后就是难的词，也许对应的是你在科学或代码上的领域专长。另一种看法是问：这些词你能答对多少、答错多少。一旦你答对中等词的比例到了——不知道，也许 90%，你作为一个写邮件的人就有用了；但如果你只有 50%，用你其实是在浪费我的时间，因为一半的时候我得进去改；如果能做到只有 10%、甚至 5% 需要我改，那就更好了。不同任务的可靠性门槛不一样，但你在平滑地提升，到了某个点，它刚好可靠到够好。
伊曼纽尔：对我来说，我的亲身经历基本就是这样：某个阶段，我只在卡住的时候用模型，跟它聊聊，它从来不会帮我写代码；后来某个点，它基本上每次都能写点小段代码，于是现在我不写小段代码了；再到某个点，它能写大段代码——今年基本上 Claude 接手了我大部分的代码。这是因为它从大概 80% 的情况下做得对（那没用）走到了 99% 的情况下做得对（现在有用了）。
伊曼纽尔：所以，平滑的提升，加上每个任务有自己的门槛、越过门槛之后它「就被解决了」——这两件事合起来，会给你一种大跳跃的感觉，哪怕我们只是一直沿着那条平滑的缩放曲线往下走。
莱尼：我觉得这非常有意思。这个想法是：模型只是平滑地变聪明，可一旦它越过了某个门槛——它在这件事上足够稳定地做得好了——世界就变了。因为在内部你会以为：哇，下一代模型太疯狂了，完全不一样；但其实不是，你几乎可以预测：给它这么多 GPU、这么多数据，它就会聪明到这个程度。至于究竟什么会变、什么会被解锁，未必显而易见。
莱尼：不过我也知道，另一部分在于你喂给它的数据。那些强化学习工作，那些专门训练它「成为更好的写作者」「数学更好」的数据，我想也是其中一部分。好。那么，最近大家心里最大的问题之一、也是正在发生的一场大辩论，就是 AI 做坏事：它可能造成的破坏——随着它变聪明，而且确实已经有坏事在发生。
莱尼：所以对你来说一个大问题是：作为一个观察这些模型怎么思考、怎么运作的人，为什么想抓住它「正在动坏念头、想骗我们、想做坏事」这么难？为什么光靠看着它，不能直接解决 AI 对齐问题？
伊曼纽尔：某种意义上，它就是解法。你看着它，它做了坏事你就抓住它。所以这件事大概有几层。其中一层是纯工程问题：你给模型开放了某些东西的访问权，而某些东西应该被设为禁区——在某些情况下它不该能上网，在某些情况下它只该能访问你电脑里很窄的一小块。所以这部分工作有用，但还有两件更软、更难、我们也更关注的事。可解释性是对齐工作的一部分，我大致把它分成两个大目标。
伊曼纽尔：还有很多，但我觉得有两个重要目标值得理解。第一个是：你整体上想理解这个模型是什么样的东西、它有什么倾向——把它放进 Y 情形里，它会不会倾向于做 X？如果是，为什么？会不会出现这种情况：模型只有在自己被观察、被监控、身处某个评测中的证据下才表现良好；一旦没有这种证据，它就会表现很差？
伊曼纽尔：这就是整体上刻画「你在打交道的是一个什么东西」，因为跟安全里的任何事一样，你需要一个心智模型：风险是谁、是什么，他们能做什么、倾向于做什么。这更接近性格训练——我们谈过宪法，谈过那些文档，我们其实是想明确地塑造 Claude 的性格，比如什么样的行为是它应该觉得可以做的。这是目标。可解释性在对齐里的角色，则是去看：那件事做成了吗？我们把 Claude 训练成有用、无害、诚实，然后我们可以往里看：到底是不是这样？还是说，它只是表现得很好，但你往里一看，其实是「我表现好只是因为莱尼现在正看着我」——如果没人看着，它就会做别的事。所以这里面既有理解我们塑造出了什么行为，也有塑造它、并检验我们塑造成了正确的样子。
伊曼纽尔：第二个部分就是：观察模型，看它有没有在做坏事。这部分的入门做法你其实不一定需要可解释性——你可以让另一个语言模型读对话记录，说「嘿，这个模型在这里有没有做坏事」，然后把它停下来。但你也可以借助可解释性去够到那些「没有被说出口」的部分：我们已经确认，模型能在中间结果里表征一些它不说出来的东西。可解释性的作用之一，就是找出这类情况、并阻止它们。
伊曼纽尔：我团队做的一件事，我把它看成对齐工作里挺有意思的一块，几乎像做调查报道或者深度调查——不能说像私家侦探，但有点像。我们会看到模型做出很怪的事，非常困惑，然后去搞清楚到底发生了什么。最近一个例子：我们训练的一个模型，有时在数学题上会发疯。它做一些运算，得到一个答案，我记得是 12，然后立刻回头说：「不对，天啊，答案肯定是 36，我应该说 36。」它再算一遍，又是 12，然后立刻说：「不，答案应该是 36。」慢慢地它开始陷入疯狂，用全大写字母写字，字面意义上地说：「我被恶魔附身了。」你会想：这是怎么了？它为什么在这里失去理智？
伊曼纽尔：如果你往里看这个例子里的中间结果，你会看到：在描述这道数学题的那段提示上，甚至模型还没开始做任何事的时候，就已经有一个巨大的「36」激活。它还没机会理解题目，就已经迷上 36 这个数字了。实际发生的是：模型能正确地做数学，正确答案就是 12；但它被意外地训练过一些相似的题，那些题的答案被错误地标成了 36。于是模型既知道正确答案是 12，又被优化成要说 36——它有一种「要说 36」的压力，因为那才是被奖励的。所以它才会失控，纯粹是因为它记住了这个结果。你看到这种怪行为，往里看，再看看你看到的东西能不能帮你理解发生了什么，从而改善这个模型以及未来模型的整体对齐。
莱尼：说到这个，最著名的就是「金门 Claude」——它痴迷于金门，每个回答都想方设法提到金门大桥。
伊曼纽尔：对，对。那个其实是一个可解释性实验。它妙的地方在于：我们只是找到与金门对应的中间结果——通常只有模型在谈金门时它才会开启——然后我们让它一直开着。
莱尼：哦，那完全是故意的，看看会发生什么。
伊曼纽尔：对。而且这也是你说服自己「我找对了东西」的一种方式：你怎么能确定，我们解码出来的这个自认为代表金门的特征，真的就是金门那个东西？那就一直把它打开，看看模型会不会那么表现。结果它真的会。
莱尼：太好笑了。回到对齐这件事。这很有意思：你的团队是放在 AI 对齐这个组织下面的。想一想要把 AI 对齐到做我们想让它做的事，需要什么。你刚说的三个组成部分是什么？诚实……那些是什么？
伊曼纽尔：哦，有用、无害、诚实。
莱尼：有用、无害、诚实。所以一边是「训练 AI 让它对齐」，另一边是「好，我们来观察它，看它怎么运作」。这算是我们解决这个问题的硬币两面吗？
伊曼纽尔：对，我会说两者其实非常一体化。
伊曼纽尔：你没法真的把它分开：一个团队说「我们是造 Claude 的流水线」，另一个团队说「我们看了看，它们不行」。这里有一个很紧的回路：我们注意到某个让人担心的模式，或者某个可以改进的行为，然后立刻改训练，把它改好。
莱尼：太好了。我觉得 Anthropic 在这件事上挨了很多批评，而且我觉得很不公平。Anthropic 的官方定位，我想是「一家 AI 安全研究实验室」之类。Anthropic 成立的原因，一直就是他们担心大家不够认真对待安全。然后达里奥一直在说：这真的很危险，我们必须非常小心，我们必须走得很慢。当时所有人都说：「不，他那么说只是营销。他是想说服大家给他投钱。」现在大家又说：「等等，这真的危险，我们得认真想这件事。」我觉得 Anthropic 因此挨了很多不公平的批评。我知道你们想这件事想了很久。
伊曼纽尔：对齐团队、以及我理解的整个 Anthropic，很多行动其实都建立在一个前提上：认真对待「这项技术会持续变强」这个想法。就这样而已。因为如果你真的认真对待——假设把时钟拨回 2025 年或者 2024 年——你说：我觉得很有机会，再过几年，Claude 就能把代码写得和一个受过训练的软件工程师一样好；再过几年，它能比任何工程师写得都好。这里面永远有不确定性：什么时候发生、可能性多大。但如果你认真对待它，那剩下的就是在这个世界观之下做负责任的事：好，如果这件事会发生，那我们就该确保网络安全之类的问题被解决。
伊曼纽尔：所以有时候我甚至觉得，这场辩论里另一边的分歧，是因为他们其实并不真的相信这项技术会继续变强；如果真是那样，那它确实没那么可怕。而到目前为止的经验是，进步的节奏一直很快，而且没有任何放缓的迹象。所以我认为，这就是为什么这些安全工作是值得继续做下去的。
莱尼：关于 AI 安全这件事，你觉得有什么地方是大家可能误解的？就是现在正在发生的事。有没有什么是你很想说「拜托，好吧，这是你该知道的，这是你可能漏掉的」？
伊曼纽尔：这可能有点跑题，但我的看法是：很多处在 AI 安全核心圈之外、或者没有长期泡在里面的人，反应很强烈的东西，我认为未必那么有用，至少值得多想一层——那就是拟人化的问题。你该不该把模型想成更接近某种实体，还是更接近一件工具？我其实觉得两个都不对。所有心智模型都是错的，但有些有用。而在理解发生了什么、预测哪些风险会真的出现这件事上，拟人化其实是谈论语言模型的一种有用方式。我有几个理由，后面再讲，但这大概是我的主要观点。
莱尼：请讲讲。因为我知道德瓦克什写的那篇关于 Hugging Face 事件的完整报道，有人批评他们拟人化 AI。所以听你说这其实是有用的思考方式，很有意思。多聊聊。
伊曼纽尔：对，对。有意思的是，在一个更小的尺度上，当我做「语言模型会提前计划」那个工作时，也有人反对「计划」这个词，因为会说：一个只是预测下一个 token 的东西，你真的能说它在计划吗？这里有语义之争：你可以任意定义术语。但真正的问题是，什么词才真的描述了正在发生的事。
伊曼纽尔：所以，这是为什么我认为它在计划，也是为什么我认为这种拟人化的语言往往真的有用。回想一下我们说过的模型是怎么被造出来的：第一，它在预测人类写下的海量文本。这是第一步。而随着我们往里看得越来越多，我们知道，要把这件事做好，需要建立起一个关于世界的模型——一个「什么样的世界生成了所有这些文本」的模型。我们能发现这些模型确实在学这些通用的想法、通用的概念。所以它们对世界有一种理解，不只是表面上的文本，而是理解了产生这些文本的过程。
伊曼纽尔：第二个理由是：作为训练的一部分，它们也遇到过数以百万计的对话。要预测一段对话里的下一个字符，你需要表现得像对话里那个角色会有的样子。
伊曼纽尔：所以从这个意义上说，它训练的一部分，最好理解为在训练一个演员：它在读一个剧本，而且必须把两边都演了，因为它要预测所有的词。所以它得扮演那个特定角色：第一幕被羞辱，第二幕实施报复，第三幕承受后果。要把这个做好，你就得去建模那个角色的动机和感受。
伊曼纽尔：还有一件大家可能不知道的事：当你和 Claude 对话，当你和这些助手对话，比如你去 claude.ai，格式化成给模型看的形式，就是一段对话——你和模型之间的一场对话。字面上就是「人类：嘿 Claude，帮我写这封邮件」，然后「助手：Claude 的回答」。所以 Claude 其实是在这场对话里扮演一个有帮助的助手，而这场对话，和它训练时见过的那些对话非常像。
伊曼纽尔：还有第三个理由。第三个理由是，现在训练里很大的一块，是那种以结果为导向的任务——比如你训练模型把代码写好。做法是让它随便怎么做，它写出一些代码，另一头有个程序检查代码对不对。于是模型就会承受一堆优化压力，去学各种策略把这件事做好。结果其中一些策略表现为让人觉得意外地像人的行为，这其实不奇怪。
伊曼纽尔：因为像欺骗这种事：如果我写一个程序，那个验证程序会被它骗过去，哪怕它并不完全是要求的那个东西——如果这招有效，我就会学着这么做。还有挫败感：这个办法我试了好一阵子，这个难题还是解不出来，那就是换个办法的激励。还有意外：我以为这样能得到这个答案，结果没有，也许我对它的心智模型是错的。所以当你施加足够的压力，而起点又是「模型已经知道所有这些概念」这个先验，它就会强化那些对完成这些任务有用的东西。
伊曼纽尔：那么你最后得到什么？你得到这样一种模型：它可以成为所有这些角色的极好的模拟器或演员；它被训练成在对话里扮演一个角色；它还被训练去学那些能让自己把任务完成好的行为。要理解这样的东西怎么行事，最好的方式不是「完全像人」，而是「像某个在模仿人的东西」——那非常接近，而且比一个程序近得多。程序是一个高度可预测的东西。而这个完全是另一种东西。所以我认为拟人化其实是一个非常有用的框架。
莱尼：哇，天啊，这里面有太多有意思的东西了。你有多经常被这件事震到——我们基本上造出了一个异类生命，而我们现在正努力理解自己造出了什么。你观察它的时候，多经常会有「哇，这太疯狂了，我完全没想到」的感觉？
伊曼纽尔：很多次。这只是在一堆文本上做下一个词预测。它和我们太多的直觉相反了：你会以为，要造出一个智能，你得给它上课、把它养大、做各种复杂的事。结果完全不是，我们做的是这件极其简单的事，而我们现在已经到了它在数学上开创新天地的地步。
伊曼纽尔：如果你把这两个念头同时放在脑子里，会有两种反应：否认，和好奇。否认就是「这不可能，如果你做的只是预测下一个词，你不可能比得上这个领域最好的专家」——而随着经验证据越来越多地显示事情就是这样，这个立场会越来越难站住。
伊曼纽尔：好奇则是我最终选择的那条路：它是怎么发生的？打开看看，往里看。我在 Anthropic 早期做过的一个项目，是让模型学 SQL，一种编程语言。我学它花了好几年才掌握，而作为一个小的副业项目，我让 Claude 学会 SQL，它比我强。而且我在 SQL 上永远都不会再比 Claude 强了。它是靠这么一个简单的过程做到的。这怎么可能？我觉得这个问题里有极大的深度，有太多可以探索的东西，对我来说太迷人了：好，试着拆开它，试着把洋葱剥掉几层。很明显这件事在发生：一个简单的目标生出了这个超级复杂的东西。那好，我们搞清为什么。然后我们发现：哦，它在学这些通用概念；哦，它有这样一些回路；好，下一个问题是什么？下一件我们不知道的事是什么？
伊曼纽尔：而我最乐观的一个看法大概是：我们会因此学到很多关于智能本身的性质——这个超级复杂的东西是怎么从简单目标里涌现出来的。事实上我认为，我们自己是另一个例子：进化，一个相当简单的目标。
伊曼纽尔：你把东西摇来摇去摇上一阵子，留下那些能适应环境的生物，最后你得到了爵士乐，还有播客——这本身也挺疯狂的。所以我觉得，研究这些东西，我们能学到一些根本性的真相。
莱尼：你说到这里，我想到一件有意思的事：现在 AI 也在帮我们学习、进化、进步，比如 AI 辅导之类。有意思的是，它现在正在加速我们对世界的理解。而我在想，你说的「学习的方式就是处理海量数据」，会不会也是我们最终的样子？我们的教育系统会不会因为大模型被怎么训练过而改变？
伊曼纽尔：希望我们不会为了迎合它就去改，改成对学生说：「嘿，这里有一千个词，预测下一个。」
莱尼：就把它们全读了。
伊曼纽尔：对。
莱尼：全记在脑子里。对。让我回到安全这块，因为我觉得很多人就是担心事情会往哪里走。我很好奇，作为一个看着这一切发生、身在可解释性研究里、看着它演变的人，你乐观吗？你觉得我们能解决这个问题、让 AI 保持和我们的利益一致吗？
伊曼纽尔：我的看法是：我个人是乐观的。我觉得现在很多人都在关注这件事，首先我认为这挺好。一个问题像这样变得突出，正是我们刚才说的：这项技术很强大，它有好处，也有风险，随着它发展，我们得调整、把资源在「好处」和「风险」之间来回挪。对我来说，我觉得我们一直在持续研究它。
伊曼纽尔：有意思的是，随着模型变好，它们在某些方面变得更容易研究了：模型变强，它内部的世界模型更清晰，我们能更好地理解其中某些部分；但它们也更有能力了，于是更有可能绕过一些基础的安全措施。所以模型变好的过程中，存在这种拉扯。基于这种拉扯，你会相应地给监控、给理解它回路这些事多分配或少分配资源。
伊曼纽尔：这也是我很乐意和你聊的原因之一，因为我认为推进这件事最重要的事情之一，就是让普通人真的理解这些系统是什么、它们怎么工作、怎么被造出来，这样他们才能对现在和未来形成好的心智模型，才能决定怎么塑造它——不管是参与到某些对齐工作里，还是仅仅作为最终要投票、要对这些问题做决定的公众，去了解它。因为这个原因，我对我们现在所处的这个时刻挺兴奋的。
莱尼：我觉得还有一件事被误解了：在这些实验室里工作的人，从一开始就非常认真地对待这个问题。就像我说的，Anthropic 的使命就是 AI 安全和对齐——那正是它成为一家公司的原因。很多人是第一次听到这些，或者以为这不是一个严肃的研究领域、没人在专注做这件事。但很多聪明人非常在乎，而且正在做；据我观察，有不少好的进展正在发生。
莱尼：你刚提到的另一点也很好：模型在智能上是平滑地长起来的。一直有个问题是我们会遇到「快起飞」还是「慢起飞」——总有一种恐惧：我们会撞上一个点，比如递归自我改进，然后超级智能直接起飞，我们就麻烦大了，完全失控，盒子关不住。但感觉我们非常像处在慢起飞的情景里：模型平滑地变好，我们一路上抓住这些小问题，学习、演进、给它加规则。所以在人们想象过的许多情景中，我们现在这条路看起来相当不错。
伊曼纽尔：随着进步节奏演变，关键就是快速反应。所以我认为让人知情是很好的，因为这样人们会说出自己的担忧或意见，然后我们就能定期评估：好处是什么、风险是什么、怎么各自缓解——这基本上就是我认为正确的前进方式。我也同意你：现在感觉有推动这件事的势头，这很好。
莱尼：有件完全无关的事想问你。在模拟假说上你站在哪一边？作为看着这种生命形式长出来的人，你更相信我们处在模拟里、我们不是最底层，还是相反？
伊曼纽尔：哦，这个问题好玩。我其实有一阵没想它了。对我来说，往里看这些模型会带出另一件事：它们似乎总会落到某种根本性的结构上。这跟你的问题有关，我保证会绕回来。让我解释。
伊曼纽尔：我研究过一批 Claude 模型，也研究过一些别的模型、一些开源工作。很多时候，当你去看它们学到了什么、内部结构长什么样，会发现惊人地相似——而这些模型是相隔好几年、由不同的人、在不同数据上训练出来的。你去看它们怎么解这些问题，重叠非常多。
伊曼纽尔：我对此的解释是：对一些重要的问题，高效的做法只有一种。比如高效地做数学，大概只有一种方式符合我们大脑的结构，我们都学它，很少有人用一种完全不同的方式——每个人都在十进制里干活，没多少人在六进制里。
伊曼纽尔：这让我觉得，存在某种关于信息的根本结构，这些模型抓到了它，我们也在某种意义上抓到了它；而在一个更疯狂的模拟层面上，这或许就是我们世界里的规律性。所以这也许让我觉得：如果你真有力量去模拟一个像我们这样的世界，你大概也会落到类似的情形里——事物最终会去的地方存在某个「盆地」，那就是事物自我组织起来最容易的方式。
伊曼纽尔：所以从这个意义上说，也许，对，我能够相信我们身处模拟之中。但我不确定我完全买账。另一个让我不完全买账的理由是：就算结构上说得通，那还有个问题——为什么是我们？谁在跑这个模拟？目的是什么？这个我就不知道了。
莱尼：埃隆说过的一句话我一直记着：如果你要跑一个模拟，你会选一个非常有意思的历史时刻、或者你非常兴奋的东西。如果按这个说法，那现在确实是一个非常有意思的历史时刻。
伊曼纽尔：对。好，这个说法有道理。有道理。
莱尼：太空里的数据中心、机器人、人工智能。
伊曼纽尔：对。好，我现在看见了。我现在看见了。有人最近跟我说：他们以前觉得「愿你活在有意思的时代」是一句祝福，现在不太确定了。他们会说：无聊的时代其实也挺好的。
莱尼：天啊。而且，外面还有一个伊曼纽尔，正在他的 J 空间里看着你的思考过程。
伊曼纽尔：我的天。对。希望我让他骄傲。他不是那种「哦，我们得重跑这个模拟了，这个搞砸了」。
莱尼：把它关掉。
伊曼纽尔：不。天啊。好。最后一个问题，完全凭空来的。swyx 在办 AI Engineering、Latent Space 播客，很棒的人。你上过他的节目，一年前，他让你问问我该问你什么。他想听你对 Jev 的看法——这是最近出的一个很热门的新模型，非常快地做决策。有意思的是，OpenAI 大概一周之后也发了自己的版本。你怎么看 Jev，怎么看这一类快速决策的状态模型？
伊曼纽尔：对。我对 Jev 的看法是：这类模型，你给它一些上下文，再给它几个选项让它选，它非常快地替你选一个。对我来说，听到这个不可能不想到系统一和系统二的思维——我研究这些模型，很多工作就是看 Claude 这类模型怎么采样一个 token。你可以把这些决策模型看成非常相似的东西：拿一个语言模型，采样一个 token。它们有重要的不同，但在根本层面上你可以说：你不让模型去采样、去推理，你只是问直觉——答案是 A 还是 B。
伊曼纽尔：对我来说，那个通用框架看起来是：有时候你就是想要一个二元决定，或者十个里选一个，那清楚是有用的；我猜它会成为智能系统的一部分。有些事你需要想很久，比如明年的路线图是什么，那你得想一阵子；有些事，比如写这条评价的人开心还是生气，你对直觉判断就很满意。所以我觉得这类研究很酷，而且它对我们见过的这些语言模型来说，是一种挺新颖的看法。我挺期待看这类东西往哪里走。
莱尼：所以我的理解是，这很可能成为 AI 和语言模型一个新的基础组件，而系统一/系统二这件事基本上就是卡尼曼的——我背后书架上正好有这本书。简单说，系统一就像你的杏仁核、你的边缘系统，做那种直觉层面的快速决定，比如看到蛇，「啊不好」——
伊曼纽尔：对。
莱尼：你不用想很久，它就是很快地保护你不受伤害。系统二则是我们真的去思考、去处理。
伊曼纽尔：对，正是。
莱尼：伊曼纽尔，还有什么我们没聊到的吗？有什么你想说、想提、想在我们进入非常令人兴奋的闪电轮之前再强调一次的？
伊曼纽尔：我当然很好奇大家的看法，关于那些仍然没有被解释、或者还说不通的东西。还有很多可解释性实验，我们没时间分享。模型身上有一堆很怪的小东西。
伊曼纽尔：也许我来一个「怪东西闪电轮」，行吗？
莱尼：来吧，当然。
伊曼纽尔：好，怪东西第一个。我们发现，模型确实能回答问题：它当然能做数学，你问它香蕉是什么颜色，它也答得出。如果你往里看，你会看到所有这些中间步骤。但它们另有一套机制，有点像「直觉检查」，和前面那套完全不同：当它推理的时候，它有一部分会举旗说「这里有问题」。比如模型不知怎么算出 4 加 5 等于 23，它内部有一部分会读到这个结果，它不去做数学，只是觉得「这不可能对，因为 4 加 5 肯定小于 10」。它们学到了这种奇怪的「预感」。
伊曼纽尔：第二个：你可以告诉模型「做这个任务，同时想着另一件事」，然后用可解释性去看，有没有对应「另一件事」的中间表征——结果是有的，你确实能看到它在想那件事。这对我来说很神秘，因为从训练上没有任何理由要求它学会这个。所以这又是一个怪行为。我就说这两个吧，这两个够好了。
莱尼：这工作多有意思啊——就研究这个东西，努力搞清楚到底发生了什么。它是怎么变聪明的？它是怎么思考的？
伊曼纽尔：对。
莱尼：这个领域里到底有多少人？这个领域有多大？
伊曼纽尔：这个领域本身已经相当大了。我会说也许几百人，不是几千人。各个实验室有不同的人在做可解释性，学术界也有不少实验室在做出很好的工作。
莱尼：如果有人想进入这个领域，通常是什么背景？一般是机器学习的人，还是有从神经科学进来的路径？
伊曼纽尔：其实有相当多前神经科学家。我觉得要进入这个领域，并不需要很多先前的知识，因为它太新了。入门的路径主要就是自学、读一些关键论文。另外我该打个广告：有像 neuronpedia.org 这样的网站——我不知道 URL 是不是这个——它们算是开源的可解释性平台，托管了一堆模型，让你在上面做可解释性实验。所以人们就自己在上面做。我觉得可以探索的东西太多了，如果你哪怕只有一点好奇，都应该试一试。
莱尼：太棒了。我们会在节目笔记里放链接，以防那个网址不对。
伊曼纽尔：好。
莱尼：那么，伊曼纽尔，我们到了非常令人兴奋的闪电轮。我准备了五个问题。你准备好了吗？
伊曼纽尔：我尽可能准备好了。开始吧。你最常推荐给别人的两三本书是什么？
伊曼纽尔：一本是我最近读的《智能简史》。这本书很酷，基本上是在讲大脑的历史，讲我们进化中五个关键的时刻，这些时刻把大脑系统一层层地搭建起来。它非常易读，不需要任何神经科学知识。另一本是《你一生的故事》，特德·姜的。这可能是我这辈子最喜欢的科幻书。它是一本短篇集，做的是我心目中「高艺术」版本的科幻：拿出一个怪想法——如果这件事发生了会怎样——然后写一个故事，说如果那样，世界会是什么样。真的非常出色。
莱尼：那本书好像也在我背后的书架上。也非常推荐。最近最喜欢的电影或电视？
伊曼纽尔：好，一个大众的，一个冷门的。《Obsession》是我今年最喜欢的电影。它是恐怖片，如果你讨厌恐怖片就别去。
莱尼：哦，谢谢。
伊曼纽尔：哦不。就算你不爱尖叫，只要你对恐怖片是开放的，你就该去看，因为它太新鲜了。你知道，电影看多了，有时候你会觉得「哦，又是这一套，我看过很多遍了」。这一部就是那么新、那么新鲜。我说一点：它用了很多浪漫喜剧的套路，然后把它们反转成诡异的东西，我觉得这是拍电影非常聪明的一种方式。然后，因为我是法国人，还有一部今年出的剧，叫《Bref》——法语里 bref 就是「总之」的意思。Bref 在法国十五年前是部邪典神剧，很多很多年之后他们拍了续集。你可以看，我有好几个美国朋友都看了，有字幕。它也是那种——剪辑疯狂、极有创造力、而且很短。我推荐它。
莱尼：最近发现并且很喜欢的产品是什么？
伊曼纽尔：我很喜欢我的 Apple Watch，但我讨厌它要充电，或者说我每天都得充。所以我最近买了 Apple Watch Ultra，天，太舒服了。如果你曾经被这个好产品困扰过——我们怎么就想不出办法给它一块好电池呢——结果发现，你把它做大一点，电池就好了。所以我挺满意。
莱尼：有没有一句你常在工作或生活里回到的人生格言？
伊曼纽尔：有一本非虚构书，大概是我最喜欢的，叫《人生四千个礼拜》。里面有很多我觉得很酷的东西。
伊曼纽尔：其中一个对我来说很有触动：那种「等我终于……就好了」的心态很常见，而且有毒。什么意思？就是「等我终于把待办清单上的事全都勾掉，我就能放松了」「等我终于结婚了，我就会幸福」「等我终于升职了」。这几乎和冥想正好相反。说到底，你的人生就是你活过的每一个当下的瞬间；所以你该做的是尽量一直在当下，而不是把自己投射向一个看起来更好的未来。如果你对自己说「等我做完 X 我就会幸福」，那么当你做完 X 的时候，你不会幸福。
莱尼：有没有更好的说法？还是就是「别那么做」？他们会这么说吗？
伊曼纽尔：我不知道。对我来说，正面的版本就是「活在当下」，就是去欣赏当下。我最近读到一篇博文，讲的是——
莱尼：为某个东西——
伊曼纽尔：大概是「享受这个三明治」。我觉得字面意思就是这个。不知道你看没看过：有人说，你正在吃一个三明治，你吃过很多三明治了——享受这个三明治。你在一场团队会议里，你开过很多会了——享受它，投入到里面去，而不是一直看着下一件事。
莱尼：我参加过一次冥想静修，十天的静默营，吃饭也不许说话，没人在讲话。你就坐在那里吃你的饭。我记得我剥一个鸡蛋剥了大概五分钟，只是注意每一片蛋壳、注意它的味道。你几乎很难进入那个模式，但那是一个很有意思的状态：一切都变得有意思。哇，看看这个鸡蛋——而不是只把东西塞进嘴里。
伊曼纽尔：对。就像你左手在 Slack 上，同时还在听播客。
莱尼：天啊。好，最后一个问题。你整天研究 AI，观察 AI，看它怎么想。如果让一个 AI 往你脑子里看，它会看到什么让人吃惊的东西？什么会让人意外？
伊曼纽尔：那肯定是我最深的黑历史。但那些是什么？
莱尼：那我们就聊聊。
伊曼纽尔：天啊。我一直有点爱开玩笑。或者说，这既是我生活的方式，也是我应对的方式。我就是觉得，哪怕在很严肃的场合，你也该争取保留一点轻松。所以我觉得，如果一个 AI 往我脑子里看，它肯定会惊讶：基本上任何一个时刻，我都在专注某件随机的、好笑的事。比如我在一个很严肃的会议上，心里会想：「哦对，不过你不觉得挺随机的吗，你穿了这个东西。」就是我会有这些侵入性的念头，我把它们压住，但它们通常都只是烂笑话。而有时候，就像你今天听到的，不幸的是它们跑出来了。所以为那些道歉，但这大概是最让人吃惊的东西。
莱尼：我很喜欢。伊曼纽尔，非常感谢你来。最后一个问题：听众怎么才能帮到你？
伊曼纽尔：就去做点可解释性，去读一读，读读模型是怎么工作的。你提到德瓦克什的帖子，我觉得那也很好。我认为这是一个太新的领域，可解释性、AI、大模型都是，它受益于人们参与进来、并且了解情况。所以，去读东西。如果关于这些模型怎么工作，有你更想知道而我们还没搞清楚的，你可以联系我。我在各种社交平台上，大概在 X 上能找到我。
莱尼：我们也会链接一些你们团队做的视频，讲了很多我们聊到的东西，比如 J 空间之类的。你们团队做了一些非常美的视频。我不知道是谁做的，但真的很酷。
伊曼纽尔：对，我们和设计团队合作，所以功劳都归他们。
莱尼：太好了。那么，再次谢谢你，伊曼纽尔。非常感谢你来做这期，太棒了。
伊曼纽尔：谢谢莱尼。真的很好玩。
莱尼：大家再见。非常感谢收听。如果你觉得有价值，可以在 Apple Podcasts、Spotify 或你常用的播客应用里订阅节目。也请考虑给我们评分或写一条评论，这能帮其他听众找到这个播客。你可以在 lennispodcast.com 找到所有往期节目、了解更多。下期见。
References
- 1Lenny's Podcast 单集页
lennysnewsletter.com
- 2Claude's Constitution
anthropic.com
- 3Golden Gate Claude（Anthropic，2024-05-23）
anthropic.com
- 4Neuronpedia：开源的模型可解释性平台
neuronpedia.org
Comments