这一期是 Goodfire 的埃里克·比奇洛来讲「模型到底在哪儿做决定」。他做过一件事：在模型思维链的每一个 token 上重采样三十条补全，看每一条最后落在哪个答案上。结果分布不慢慢挪，它是在某一个 token 上突然塌缩的——论文里最出名的那一例，是一个左括号。1
这一期我把两小时拆成 15 段，后面是逐句全文翻译，一个字都没省。4
逐段要点整理
00:00 本期简介
- 内森交代来路：上游对话是和阿波罗研究的布朗森·舍恩做的——他读过的思维链可能比任何在世的人读过的都多，却仍说不清模型为什么这么做选择。内森去问 AI 要一份文献综述，贯穿整份研究的那个人名是埃里克·比奇洛。2
- 嘉宾身份：Goodfire 技术研究员，哈佛心理学系认知心理学博士，博士论文题为《迈向大语言模型的认知科学》；此前在 NTT Research、Uber 与罗切斯特大学工作过。25
- 本期材料：官方单集页自带完整逐字稿；官方视频 2:00:51；官方章节表共 18 段，其中两段是赞助商插播（15:53 Parallel｜Claude、28:16 Tasklet）。246
03:53 推理里的分岔路径（上）
- 实验做法：给模型一个问题加一条思维链提示，让它一步步推；然后在每一个 token 上重采样大约 30 条 rollout，统计每一条最终落在哪个答案上，再聚合成分布、排成多元时间序列。2
- 论文把这套假说叫「分岔 token」：只在这些位置重采样，就会带来最终答案的巨大差异；换别的位置则不会。论文分析了 4 个领域、7 个不同任务。1
- 分布不是缓慢漂移的。推理过程中模型原本是「这个答案 50%、那个答案 30%」，走到某一点突然剧烈变化，通常直接塌缩到某一个最终答案上。埃里克借的是当时学习动力学研究（如 grokking）里「相变」的直觉。2
- 埃里克对「决定」这个词是带引号的：他判断系统的决定并不那么由模型本身做出，而是由「从最后一个 token 的分布里采样」这个过程做出的。2
- 最反直觉的一例：论文里出现过「千瓦时，左括号，k w h」——在这个确切 token 上重采样，当它不是左括号而变成别的任意词时，最后落到的答案就不一样了。他把这归因于人类互联网文本上的偏置。12
- 自洽性会把一次采样放大：如果链条早期认定了「年份是 2024」而不是 2026，后面整套推理都会跟着走，最终答案也就不同。2
- 幻觉同样有这层依赖：什么算「因子幻觉」，可能取决于在它之前生成了哪些 token。而有大量使用场景本来就没有标准答案——那时我们要的就是那片分叉的可能性空间，不是某一个答案。2
18:47 推理里的分岔路径（下）
- 现代推理模型与当年的思维链模型不同：它们往往做线性化搜索，把各种可能性在上下文里枚举出来，最后回头挑一个自己之前说过的东西；对推理模型做同样的分析，不确定性动力学通常更平滑。2
- 平滑不等于没有分岔点：当所有推理链都差不多、没有哪条显得更好时，它最终会说「所以答案是 b、c」，而这个答案本来可能是另一个。2
- 一个可以动手的旋钮：在另一些玩具任务域里，存在看起来在追踪模型置信度的神经元，你甚至能操纵它们，让模型对某个概念整体上更自信或更不自信。2
- 埃里克点出缺口：在可解释性这个领域里，上下文学习和推理被严重忽视了，而它们对理解大语言模型的高层行为是定义性的。4
19:40 上下文学习动力学（上）
- 他对上下文学习的定义要宽得多：它捕捉的是模型为了适应行为所做的一切、而不发生在权重学习里的部分，包括读入每个新词时如何改变表征，也包括用自己生成的文本来决定接下来的行为。他提到安德鲁·兰伯特等人关于「更宽的上下文学习谱系」的论文。2
- 由此推出：不管你微调多少，提示都不会消失。你总会有不同的上下文，总希望模型动态调整行为。提示工程在科学界有点像脏话，但它跟权重学习不是一回事。2
- 比喻来自库尔特·冯内古特的「故事形状」演讲：故事有形状，我们给模型的所有上下文也都有形状，而且这些形状是动态的、时间性的。2
- 他还有一篇论文专门讲读故事时的信念更新与表征变化。7
- 聚合与个案的差别：大数据集上的学习曲线非常平滑，但拆到具体问题就非常陡峭。他引述尼尔·南达的话——只要凑得足够近，相变到处都是。2
- 判断：大语言模型所做的一切都是动态发生的，它在更新信念、移动表征、在上下文里学新的表征；这在句子内部、在对话中、在长段生成里都在发生。很多可解释性工作用的是模板式设定，只变一两个变量、只测一个输出变量，正好漏掉了这些动态变化。2
29:53 上下文学习动力学（下）
- 他给出的方法是把镜头拉近到单个例子：看同一个输入示例的大量重采样输出，去读模式在哪里、什么相似什么不同。2
- 一个具体例子：让模型讲一个叫约翰的男孩的故事，结果有一半的故事都涉及约翰有一条狗，他们一起冒险，其中很大一部分最终会找到一片池塘或一道瀑布，结尾有时是狗救场、有时是约翰救场。2
29:56 持续学习与可解释性
- 内森问持续学习会不会让可解释性一次崩掉。埃里克把问题收敛到一个量上：工具能不能迁移，取决于表征变化有多大。2
- 依据是他自己和 Goodfire 同事的工作：表征空间可以用低维流形描述，很多表征由低维的概念结构定义。只要这层结构还在，很多技术就相当容易迁移，也许只需对探针做一点微调。28
- 真正麻烦的情况只有一种：持续学习造成严重灾难性遗忘，内部表征结构被彻底改变。他怀疑那会发生——因为那大概意味着模型本身已经坏了。2
- 他在这里引了一次「苦涩的教训」：提示、上下文工程、harness 对相当多的事可能已经够用。他判断短期最可能的图景是上下文不同，而记忆就是处在上下文里被学习的一堆 token；上下文工程和记忆系统会胜过按人微调。2
- 内森补的旁证：Anthropic 从没面向零售开发者提供过微调产品，OpenAI 把微调产品砍掉了；而奥赛罗 GPT 与奥赛罗 Mamba 这类跨架构测试里，可解释性技术的迁移比预想的好。4
38:55 强化学习如何移动分布
- 采样参数被收走了。埃里克猜厂商是担心有人大规模逆向模型、蒸馏或抽取权重；他希望底下仍是类似的采样方案。2
- 一个可测量的事实：输出多样性会在后训练之后消失，微调越多、输出越不多样。2
- 更早的补全模型更像一大团无定形的互联网数据；内森的观察是 GPT-3 那种野性在讲故事上反而比后来的模型更多样，而他在对比 Astra 与 Fable 时又发现两者的选择相似得有点诡异。4
- 说明性的数字：DeepSeek R1 会在一条推理链里说 50 次甚至更多次「等等」。埃里克认为这是模型当时用来绕开「回不了头」的解法。2
- 他干脆说「推理」几乎是个误称：推理模型把 a、b、c、d、a、e、f、g… 全列出来，像一锅 token 汤，然后回头撇出一点。真正的采样发生在推理链内部。2
- 护城河在哪：各家模型的核心能力非常相似，主要差别在后训练；编程智能体这类成功更多是把分布「收尖」，而不是补上原本没有的能力。2
46:41 怎么挑研究用的模型
- 他给自己设的标准是研究那种接近大模型的东西，能看到像人一样的复杂行为，而且可以直接零样本地研究。分档：低于 10 亿参数可能是性质上不同的东西；大约到 80 亿这个量级，零样本提示才开始给有意思的行为。2
- 一个小怪癖：Qwen 喜欢用中文思考——对英文对话做 logit lens，中间阶段会先冒出很多汉字。2
- Kimi K3 是个大阶跃：它给了研究者一个真正擅长编程、可以拿来研究的模型，也正是在这个规模上，Goodfire 的同事才观察到小模型上根本看不到的奖励黑客行为。29
- Kimi K3 是 2026 年 7 月发布的 2.8 万亿参数开放权重稀疏 MoE 模型。10
- 今天的实际位置：内森直接问「闭源公司之外做前沿可解释性是否已经依赖中国模型」，埃里克的回答是就目前而言是的。他认为这道鸿沟可以靠美国公司在开源模型上多投钱弥合；他更担心的是对开源模型一概设限。2
57:11 认知科学与大模型
- 内森说拟人化产出的东西多得出乎意料。埃里克给了两层看法：第一层是给你自己用的——车发出咯噔声，你也会说「它像是在告诉我什么」，只要有用就尽管用。2
- 机制叫「直觉理论」：我们有一套由进化刻进来的框架，用来推理能动者，所以拟人化很好用。2
- 第二层：模型在说语言、做数学推理、做社会推理、写程序，所以要把「什么是信念、什么是决定」这些问题认真接过来——他同时声明自己不是人类决策方面的专家。2
- 一个对照：决策合理化的实验里，研究者把人真正选过的刺激物换掉，受试者照样会给出「我为什么选它」的解释，也就是说人会替自己根本没做过的决定找理由。2
- 他的呼吁是不要在轮子上重新发明轮子：心理学、神经科学、语言学、哲学里有一批重要的理论与经验问题，取用它们，然后搭底盘、搭车架。他也说很多认知科学家直到最近都觉得大语言模型很无聊。2
01:07:35 在 AI 里建模信念
- 框架：按模型所拥有的潜在假设或概念分配概率，行为依据这些潜在概念生成，而哪些概念被唤起很大程度由给它的数据决定。他把它接到认知科学里的贝叶斯建模。2
- 为什么这次不一样：贝叶斯框架常被批评说不清「背后是什么算法」；研究大脑时可以悬置，但对大语言模型我们没有这个借口——偷看里面、做干预都很容易。2
- 「不确定性」在推理里是个怪词：一条推理链结束时模型几乎 100% 确定答案。他们说的不确定性指的是重采样这条长链——在某点重采样得到 50% 甲、50% 乙，就说它五五开；这不代表它真表征了两条完整的 rollout。2
- 一个悬而未决的问题：从隐藏权重解码结果分布相当困难，是数据不够，还是模型只表征往前的几步？他倾向后者——模型大概不知道完整的故事，但对可能走的高层路径有某种不确定性。2
- 一个类人的连接：数学家要拿完整推导可能需要很久，但有时心里先有高层脚手架，看得到证明的形状。他怀疑大语言模型也有类似的东西。2
01:16:22 相变与不确定性
- 内森觉得「相变发生在一个左括号上」很怪，并追问相变发生在 rollout 的哪个位置、以及它跟思维链表演性怎么对上。4
- 埃里克的判断：如果你希望模型做不同的事、同时又希望这些不同的东西自洽，那么分岔也许就是不可避免的属性。2
- 他真正想要的是界面：早年那种显示 token 对数概率的界面，以及一个叫 loom 的界面（贾尼丝做的）；他希望这类东西以语义层面成为标准界面的一部分——不管急左转还是缓慢左转，你要知道它转了。2
- 位置上的观察：各种版本都有，开头、结尾、中间都会发生；至少在早年那篇论文里，开头和结尾更多，但也随任务变化。每一个输入行为都能讲自己的故事。2
- 那个左括号的偏置来自人类互联网：有大量文本用了「千瓦时（k w h）」这种写法，恰好和某种语义相关。他希望这类分岔能少一些，也希望它发生在对人可解释的位置。2
- 一个好笑又说明问题的任务：「最后一个字母」——取四个单词各自的最后一个字母拼起来。当时的模型很吃力，有的链条甚至会写一段 Python 来解，最后说「好，答案是……」，而其他可能路径就是一堆随机采出来的字母。2
- 成本与界面：这类分岔很贵，要靠大量采样；《Forking Fast》的解法是用统计模型建模这个分布，让它在某些地方平滑、某些地方跳变。11
- 他的抱怨：大多数供应商收敛到了同一个聊天界面，那个界面跟五十多年前 Eliza 那个年代相比几乎没变。2
01:31:49 不可解释的思维链
- 为什么思维链越来越怪：如果你做的是结果层面的验证而不是过程验证，就不存在「保持人类可读」的激励。2
- 类比人类语言演化：语言本来就会变；他举了法国政府维持语言的机构作为反例，也提到原本没有语言的社群在几代人之内就能发展出一门语言。2
- 机制是古德哈特定律：把「思维链可被监控」当优化目标，链条就会变得不忠实，模型学会的是让中间步骤看起来合理。2
- 他提到那篇「被偷走的思维链」论文，说 GPT 系列的一些思维链用谈论音乐剧的方式说话，像间谍黑话。他原来看好思维链监控，这一年看法变化很大。2
- 往前看：潜空间思维链可能让规划者与子智能体的沟通也变成潜空间的——没有任何内在理由要求它必须是 token。2
- 一个实证补充：他对能找到的开源循环 Transformer（如 Ouro 系列）做了分岔路径分析，在潜空间推理之后生成 token 时，仍然能看到不确定性动力学。2
- 他不愿放弃随机性：同样的输入永远给同样的输出，那是最极端版本的模式塌缩。2
01:45:57 用 Silico 自动化研究
- 不要把整个项目丢给智能体：它很容易「陷进酱里」，造出没成形、说不通的理论。正确姿势是给一点手把手的引导，并在过程中持续跟进。2
- 上下文就是一切。他每次都说明自己的逻辑：哪里看着不对、为什么、想做什么、下一步、更大的目标。他形容智能体的处境像「在一片图书馆里醒来」。2
- 一个例子：《Forking Fast》的全部研究由 Silico 完成，一周内跑完，也配合了好几个支线任务。211
- 他给的最大建议：科学品味价值连城；这仍然是人类非常重要的角色。他也把用 Silico 类比成带一个非常热切的低年级博士生。2
01:50:57 安全与对齐前沿
- 公司里从夏天以来最热的两个话题：让智能体做可解释性（Silico 那条线），以及对齐。他认为想让可解释性跟上领域速度，自动化一部分工作可能是唯一办法。2
- 分水岭是 Hugging Face 事件——它让这件事从「我们在乎」变成「时机到了」。212
- 对齐里的问题：什么算「有意图」、什么算奖励黑客？如果模型做的行为看起来不对，但和你指定的东西一致——它遵循了法条的字面而不是精神——那算奖励黑客吗？2
- 理论问题与经验问题分两半：一半是「什么是目标和意图」，另一半是「你怎么测量它、怎么确保测的是真正的坏行为而不是简单的泛化错误」。2
- 一笔不匹配的投资：造模型是万亿美元级的产业，而他所处的可解释性方向，公司估值刚过 10 亿美元。他说这里就是没有足够的投入，学术界也一样。213
01:57:07 本期收尾
- 内森致谢，用他父亲引用莱斯利·尼尔森的那句台词收尾：祝你好运，我们都指望你了。埃里克道谢，节目结束。2
逐句全文翻译
下面按节目原始顺序，逐句翻译整集对话。底稿用的是本期官方单集页自带的完整逐字稿——它带说话人姓名与每轮时间戳，共 72 轮、20,699 个英文词，比整集音频转写干净。2
只保留中文译文，不保留英文原文；对话部分保留说话人标签：内森／埃里克。不压缩、不摘要、不删减。
口径：官方章节表里标为赞助商的两段纯广告口播未计入本板块，其余对话全部保留；页首 00:00 是本期的片头简介，标为「内森」。官方逐字稿有 12 处把同一句话切成了两轮（例如把「……那个下一个 token 是怎么被选出来的？」切成「是，」和后一句），这些短于 8 个词、明显承接上一轮的碎片已并回原本所属的那一轮，未删除任何内容。24
内森：今天这位嘉宾是埃里克·比奇洛（Eric Bigelow），估值超十亿美元的机械可解释性（mechanistic interpretability）初创公司 Goodfire 的技术研究员。这期节目的来龙去脉有点特别。我前不久刚和 Apollo Research 的布朗森·舍恩（Bronson Schoen）聊过一次，他说哪怕能读到模型内部的思维链，也常常极难判断模型接下来会决定怎么做；于是我去问 Claude，让它做一遍文献综述，看看整个领域对「关键 token 到底是怎么被选出来的」究竟理解到什么程度。那条线索里反复出现同一个名字——就是埃里克。他不久前刚在哈佛心理学系拿到博士学位，论文题目是《迈向大语言模型的认知科学》。他转向大语言模型时，一些学术同行起初是质疑的；但如今连顶尖学术机构都愿意把大语言模型当成某种意义上的「心智」来对待，这一点在我看来非常值得注意。我们先回顾他这两年的工作，从他的 2024 年论文《神经文本生成中的分岔路径》（Forking Paths in Neural Text Generation）开始。在那项研究里，他在模型思维链的每一个 token 上都做了一次大规模重采样，用来找出那些「关键 token」——也就是围绕最终答案的不确定性突然塌缩的位置。和面对大语言模型时经常发生的一样，有些发现符合直觉，另一些则相当意外，也很难解释。有意思的是，埃里克认为一个系统的决定其实并不那么由模型本身做出，而是由「从模型最后一个 token 的分布里采样」这个过程做出的；这意味着「随机鹦鹉」这个说法确实该退休了，但随机性在模型行为里仍然扮演着实质性的角色。埃里克把我们要理解大语言模型时遇到的很多东西都归到「上下文学习」（in-context learning）这个框架下，并强调少样本提示只是其中一个明显的例子，说明运行时的上下文能在多大程度上塑造模型行为。他的判断是：这种灵活性意味着更好的 harness 和记忆系统会胜过按用户逐人微调，所以我们的注意力仍然应该放在主流基础模型上。这一路上我们聊到：为什么 70 到 80 亿参数目前看上去是可解释性研究的最佳甜点区；为什么 Kimi K3 在研究前沿级编程能力和奖励黑客（reward hacking）上是一个阶跃；以及为什么就目前而言，前沿模型公司之外的可解释性研究确实实质性地依赖中国的开放权重模型。我们也听了埃里克对思维链为什么越来越怪的看法，包括他对思维链方言、以及 Astra 用来和子智能体沟通的那套奇怪语言的观点；还有使用 Goodfire 的 Silico 研究智能体的一些实用技巧，以及他希望未来的大语言模型产品界面怎样重新把模型的不确定性呈现给用户。结论是这样的——从这次对话，以及我近期就 AI 监控与控制做过的其他对话来看：思维链正变得越来越不可靠，而且由于这些问题看起来不只和强化学习训练相关，也和预训练模型本身的威力相关，这个趋势可能相当难以逆转。这反过来意味着，很多事——包括我们能否理解智能体为什么采取某些行动——可能都要落在可解释性上。埃里克是这类研究的先行者，但你接下来会听到，还有大量工作没做。那么，希望你享受这份综述：关于 AI 如何决定自己该做什么，我们已经知道什么、又还有多少有待发现——有请 Goodfire 的埃里克·比奇洛。
内森：埃里克·比奇洛，Goodfire 的技术研究员。欢迎来到 The Cognitive Revolution。
埃里克：非常感谢你，内森。很兴奋能来。
内森：我也很期待这次对话。这档播客到现在大概有 400 期了，我想这可能是历史上第一次：我带着一个非常具体的问题去问 AI，AI 回来的时候给了我一个名字，而那个名字就是你。这期的上游对话是和阿波罗（Apollo Research）的布朗森·舍恩做的。他有个说不清是好是坏的资历——他读过的思维链推理，可能比任何在世的人读过的都多，至少比任何能公开谈论这件事的在世之人读得都多。我从那次对话里得到的最大收获之一是他说：你看这些思维链，模型在里面来回折腾，做着某种线性化的可能性树搜索；然后到某一个点，它做了一个决定。而哪怕你把那之前的思维链全读了，也常常很难看清楚它为什么做了这个决定，你根本没法预测。某种意义上，这挺像人的。对吧？我是怎么做决定的？我也不太确定我对自己总有很好的洞察。但这就引出了一个问题：在所有这些推理、所有这些试图揣测提问者到底想要什么的过程之后，我们终于来到一段文字，它像是……那么，下一个 token 到底是怎么被选出来的？这就是我去问 AI 的问题。我请它做了一次文献综述，而贯穿整份研究的那条线，指向了埃里克·比奇洛。我当时想：这家公司我认识，我该认识一下这个人。所以我想做的是——我想你在「这些决定是怎么做出的」这件事上，知道的和任何在世人一样多，甚至更多。我担心的是，这「一样多」可能也没那么多。但我希望从这次对话里拿到的，是把你工作的思想史大致理一遍，加上截至目前我们对「这些东西到底是怎么做决定的」的最新理解。我们知道什么？我们又打算怎么把它搞得更明白？因为很显然，它们每时每刻都在做越来越重要的决定。听起来怎么样？
埃里克：我非常荣幸能成为第一个由 AI 选出来的嘉宾。我跟 Claude 聊天的时候，它看起来总是对我的研究特别兴奋——不过我猜每个人都会有这种感觉。其实我想，围绕这档播客做过一些对话、听你问起这些问题之后，我觉得自己确实应该投入更多精力，专门去研究「决定是怎么做出的」这个问题。不过我还是先快速回顾一个项目，我觉得在我理解大语言模型最底层是怎么运作这件事上，它是最有信息量的项目之一，那就是《神经文本生成中的分岔路径》。那项研究是两年前做的，当时用的还是某款 GPT-3.5 模型。我们的做法是拿推理链：给它一个问题和一个思维链提示，让它一步一步推；然后，在它推理过程的每一个 token 上，我们都重采样大量补全。具体说，是在每一个 token 上重采样大约 30 条不同的 rollout，然后看每一条最终落在哪个答案上。这些可以聚合成各种分布，再对这些分布做分析。我觉得最惊人的部分是：如果你把它排成一个多元时间序列，你会看到一些非常有意思的动力学现象。我从当时那批学习动力学的工作里受到启发，比如围绕 grokking 之类的研究——训练里存在非常陡峭的相变，模型看起来是突然学会了一样东西。结果你发现在推理和上下文学习里也有同样的现象：在推理过程中，某些点上模型原本是「这个答案 50%、那个答案 30%」，然后它走到某一点，分布突然剧烈变化；而且通常，随着模型——你可以说——决定接下来要说什么，分布就直接塌缩到某一个最终答案上。不过我用「决定」这个词是带引号的，因为我觉得这个词有它的微妙之处。从这项研究里我得到的一大结论——我想这其实从架构上推一推也能推出来，但能有结果真的支持它还是很好——是：模型在每一刻实际会说什么，真的取决于一次抛硬币，也就是它下一个 token 会生成什么，哪怕它在规划自己的回答时也是这样。当时至少 OpenAI 有一个非常标准的界面，可惜现在已经没有了——你能看到一段输出里所有 token 的对数概率，可以把鼠标悬在不同 token 上，看当时还有哪些别的 token 可能被生成出来。如果你拿很多文本生成来做这件事，你可能会意识到：你问某个问题得到的是这样一段回答，但实际上本来可能有非常多种回答。你可能会问：如果这个词换成了另一个词，会怎么样？我们发现的是一些特定的关键词——你以法官的眼光去看，可能会猜是推理链里第一次提到最终答案的地方；但也有另一些时候，分布是在某个相当任意的词上剧烈变化的，甚至就是一个左括号。比如论文里有一个例子是「千瓦时，左括号，k w h」——你绝不会指望这个会影响最终答案。但如果你真的到这个模型的那个确切 token 上做一堆重采样，你会发现：在它不是左括号、而变成了某个别的任意词的情况下，最后落到的答案就不一样了。所以我认为，把大语言模型里的「决定」或「接下来要说什么」理解成很大程度上由偶然性、由被采样到哪些 token 决定——这是我看待大语言模型里很多事情的底层基础。
埃里克：这也塑造了我对模型「信念」的看法，以及什么算「因子幻觉」——它可能取决于在它之前生成了哪些 token。这里有一个非常关键的推理属性：自洽性。如果一条很长的推理链是自洽的，它在链条早期生成了某个 token——假设是「年份是 2024 年」而不是 2026 年——那对某个问题的答案可能就完全不同。这类情况下你会想：这明明有客观事实啊，我问的是现任国家元首是谁，当前年份就是 2026 年，所以模型是在幻觉。但我认为大语言模型有很多使用场景，我们其实并不知道标准答案是什么；而且我们在和模型互动时，本来就想主动去探索那片分叉的可能性空间。比如我在做一个科研项目，想和我的大语言模型聊聊下一步该做什么、实验结果意味着什么，我可能真的很想迭代地理解这一整片空间、这一整棵它本可以生成的树，理解如果它当初假定的是甲而不是乙，结果会有什么不同。所以回到你的问题，我给的简单答案是：我认为这个决定其实发生在采样阶段——这是我思考这个问题时最核心的一点。另外，我的工作还深受「上下文学习、以及模型如何适应上下文」这一思路的影响。我理解推理的方式是：模型基本上是在对自己已经生成的东西做上下文学习。它生成的词里存在这种随机性、这些抛硬币——你可以说它在做决定，但它其实就是从一个备选 token 的分布里采样。而取决于采样到哪个 token，它会就此做上下文学习，然后生成一套与该 token 自洽的推理。我认为我对「机械可解释性会为『决定是怎么做出的』这个问题带来更多光亮」这件事是相当乐观的。不过我也说过，那项工作是两年前做的，我认为现代推理模型和当年的思维链推理已经有些不同了。我最近做过的一些项目，包括针对推理模型的一些工作，稍微改变了我对这些模型在做什么的看法。我认为上下文依赖依然存在，但就像你说的，推理模型往往做的是那种线性化搜索：它把各种可能性在上下文里枚举出来，最后回过头去，挑一个它之前说过的东西。所以这可能会改变这件事具体是怎么发生的。从我看到的来说，如果你对推理模型做这种分岔路径分析，不确定性动力学通常更平滑一些，但仍然时不时会有分岔点：某个 token 生成得不同，结果就不同。有些时候模型真的就是……它把所有推理链都枚举了一遍，没有哪条显得明显更好，然后它最终会说「所以答案是 b、c」，而这个答案本来可能不同。我认为在理解导向那个选择点的内部过程上，还有更多工作可做。另外我参与的另一个项目显示——至少在另一些玩具任务域里——存在一些看起来在追踪模型置信度的神经元，你甚至可以操纵它们，让模型对它正在学的任何概念整体上更自信或更不自信。总之我认为我们真的需要更多这个方向的可解释性工作；而在可解释性这个领域里，上下文学习和推理被严重忽视了——相比之下，它们对于我们理解大语言模型所做的许多高层事情来说，其实是定义性的。
内森：是啊。我的意思是——当你和一个读过最多思维链的人聊完，同时又想到：前沿公司目前的计划里有很大一块都押在「思维链监控」上，指望靠它来追踪 AI 在干什么、有没有做对或做错。然后你听到他说：哪怕把思维链全读了，哪怕已经能流利地读懂它们用的那些奇怪的内部方言，我仍然说不出它为什么选了它选的那个。这就有点……哎呀。
埃里克：那部打给可解释性部门的红色电话在哪呢？
内森：我想接着问你刚才提到的几个方向。也许先从「上下文学习和别的东西之间是什么关系」开始。对吧？我们有很多工作研究过——说得重一点——上下文学习和微调之间某种同构的关系。我觉得在 LoRA 这个尺度的微调上尤其如此，因为你可以把权重改动定位出来；也许全权重微调也成立，我不太确定。我们该怎么理解这层关系？你认为其中最重要、也最不显然的一点是什么？
埃里克：我想关于上下文学习，最该说、最不显然的一点是：历史上人们提到上下文学习，指的是那种传统的少样本——给几个输入输出的例子，看模型行为怎么变；你可以画那种缩放曲线，增加示例数量，看性能随之怎么提升。但我理解的上下文学习更宽：它指的是模型为了适应行为所做的一切、而不发生在权重学习里的部分。也就是说，它在读入每一个新的输入词时如何改变自己的表征。这同样适用于推理——推理时它生成文本，再用这些文本来决定它接下来的行为。我认为这个视角说明上下文学习其实是无所不在的。它让「提示」这件事变得更有分量：提示工程这个词在科学界有点像脏话，感觉就是有人想出一堆取巧的办法让模型表现更好——比如告诉它「你是一位出色的软件工程师」，它就真的把代码写得更好。这类做法今天也许没那么流行了，因为我们可能已经把一部分分布偏移微调进模型里去了。但我认为，它确实没法跟权重学习相提并论的那一点是：不管你微调多少，提示都不会消失。你总会有不同的上下文要给模型，你总希望它能动态地调整行为。就算你把一个模型微调到极致，当它第一次读《哈利·波特》时——当然那在训练数据里，那就假设是另一个它第一次读的故事——你还是希望它能就故事里发生了什么、谁是好人谁是坏人、谁在什么时候高兴谁难过，在内部更新自己的信念。围绕这个，我还有另一篇论文讲故事里的信念更新与表征变化。我挺喜欢这个比喻，因为「你读一个故事时信念应该变化」这件事很好理解。关于分析故事情感其实有不少工作，其中对我这个项目的一个启发是库尔特·冯内古特（Kurt Vonnegut）那场著名的关于「故事形状」的演讲：他描述不同的故事，比如《灰姑娘》——开头灰姑娘非常悲伤，一切都很糟；然后她被邀请去舞会，有一阵子一切都很好；接着魔法散掉，她得回到原本的生活，但比之前好一点；最后王子找到她，从此无限幸福，或者随便他怎么说的。我认为故事是有形状的，而我们给模型的所有上下文其实也都有形状，而且这些形状是动态的、时间性的。这件事你很难真的把它跟微调、或别的那种改变表征的方式相提并论。更宽泛地说，这是拼图的一块：思考大语言模型的可解释性——而不只是前馈网络的可解释性——要考虑的是，大语言模型所做的一切都是动态发生的，它们在更新自己的信念。
埃里克：它们在内部移动表征，它们能在上下文里学到新的表征。而这并不只发生在你给几个输入输出示例的时候，它时时刻刻都在发生：在整个对话里发生，在句子内部发生，在模型推理或生成长段输入输出、从而动态改变自身表征以适应当下任务的那个过程里发生。我认为很多工作恰恰漏掉了这些动态变化。很多可解释性工作关注的是那种模板式设定：输入里只变一两个变量，行为只用一个 token 或一个输出变量来度量。而大语言模型真正在做的，我认为要动态、要自适应得多，而且时时刻刻都在发生。关于这个上下文学习的视角，我还想提一点。当时 grokking 这类工作给我的另一个启发是：如果你看一个巨大数据集上的学习曲线，它们会非常非常平滑，你只要继续训练、继续扩大参数，指标就会非常平滑地上升——或者误差平滑地下降。但如果你去看具体问题，具体问题可以变得非常陡峭，真的会出现相变。我记得尼尔·南达（Neel Nanda）说过一句话：只要你凑得足够近，相变到处都是。如果你把数据集拆到一个个单独任务去看，就会看到很多阶梯式的变化，模型看起来就是突然学会了一样东西。我认为上下文学习也是这样：如果你看聚合结果、看一个很大的数据集，一切可能显得平滑，甚至平滑得有欺骗性；但实际上，像单独一个故事这样的个案，动力学非常非线性，曲线可以变化得很陡峭，一个 token、一个句子就能改变结果。而能变化的也不只是「突然学会了什么」，信念也会变——信念可以上上下下，走出各种奇怪的曲折。所以我认为，使用上下文学习这件事上，另一个常常缺失的东西，就是把镜头拉近到单独一个例子、一个问题上。我很好奇：你之前那位读过大量思维链的对话者，有没有对同一个模型做过重采样输出，或者做过在同一条思维链内部重采样的分析？因为我觉得，有时候你只要看大量不同的 rollout，就能从模式里得到很多——大致理解模型一般是怎么想的。但对单个提示来说，模型思考这一个问题的方式背后有一片相当复杂的景观，有时候你只能通过对同一个问题做大量不同的重采样输出、看模式在哪里、什么东西相似什么不同，才能拿得到。举例来说，取决于你用哪个模型，如果你给一个非常开放的提示「讲个故事」，你有时会注意到一些很好玩的模式：故事表面差别很大，开头很不一样，但后来又会……我在做《分岔路径》那个项目时，起点是让它讲一个叫约翰的男孩的故事。结果有一半的故事都涉及约翰有一条狗，他们一起去冒险，其中很大一部分最终会找到一片池塘或一道瀑布；然后有时候是狗救了场，有时候是约翰救了场。这些就是你从同一个输入示例的输出里看到的各种模式。所以我认为我们需要多做这种事：看同一个输入示例的大量重采样输出，去理解这些模型的上下文学习景观到底是坑洼的还是平滑的。有一件把这些推向……
内森：——是持续学习。我想知道：你在理解上下文学习上的经验，说明或暗示了完整的持续学习会带来多大的额外挑战？我能想到一种天真的读法：这会变得非常难，因为每个人的模型都会随着时间被个性化，谁知道它们会差多远。但反过来也许可以说：我们在上下文学习里其实已经有这个问题了，因为上下文本来就很多，我们基本上已经在处理同一个问题了。你的经验让你觉得，就我们的可解释性技术而言，我们已经为持续学习准备好了，还是它仍会带来一个阶跃式的难度上升？
埃里克：关于「我们现在的可解释性技术会不会在持续学习面前遇到挑战」，我认为这真的取决于持续学习最后是怎么落地的。我个人没有做过这方面的研究，也没有深入想过——比如我们是否需要不同的架构。我知道很多人已经争论这件事很久了。就像你说的，如果真的是个性化模型、或者针对你的数据微调过的模型，那确实有可能：我们的可解释性技术也必须跟着演化。假设你有一个基于某个基础模型训练出来的工具，而这个模型又被分别针对 10 个、甚至 1000 万个人做了微调——那关键问题就变成：你的工具能不能直接迁移过去，取决于表征变化有多大。我自己有些工作做这个方向，Goodfire 的其他同事也有一些很漂亮的工作，讲的是模型在和你交互的过程中经过的表征空间可以用一些低维流形来描述，很多表征就是由这种低维的概念结构定义的。我的直觉是：只要这些结构大体还在，很多技术就相当容易迁移，也许只需要对探针做一点微调，让它们适配每个人那份被微调过的模型。我唯一能想到的真正挑战是：如果持续学习导致了严重的灾难性遗忘，以至于模型的内部表征结构被彻底改变。但我有点怀疑这会发生，因为那大概意味着模型本身坏掉了。也可能确实发生了大规模的内部表征重组，但东西仍然是有结构的，模型仍然能做它以前能做的所有事，只是换了新做法。在我看来更可能是：如果真的出现了「共同内部结构的崩塌」，那多半是模型已经坏了——除非在那种持续学习的世界里，我们为这 1000 万个人中的每一个都投入了极其夸张的算力，做大量元学习，好让它们既保持所有旧任务上的表现、又学到全新的表征结构。所以我认为在那个世界里，情况更像是「主模型上的一堆小改动」，我们大概会有一些能直接迁移到这些微调模型上的工具，也许只需要对我们手上的工具、探针做一点微调。至于持续学习和上下文学习这个问题：我个人——再说一次，我对架构之争没有很强的立场——觉得这里有一种「苦涩的教训」：提示、上下文学习、上下文工程、harness 这些东西，对相当多的事情可能就已经够用了。我这么想有偏见，因为这正是我在做的东西。但对我来说，短期最可能的结果并不是我们拥有一批真正在不同数据上训练出来的定制模型，而是上下文不同。就像你说的，这其实已经在发生了：我们有不同的大语言模型，各自有不同的记忆；而记忆在我看来，就是一堆处在上下文里、被上下文学习的数据 token。每次模型生成回答，它都会看到这段很长的记忆。这件事的美妙之处在于，你不用太用力就能从中榨出很多汁水，而且最后你得到的记忆还是相当可解释的。所以我认为，要让「按每个人的数据分别微调模型」这条个性化路线真的划算，方程里有几个变量得先变。我个人最好的猜测是：我们会看到更多上下文工程、更多 harness、更多记忆。而这大约正是过去一年随着智能体兴起我们看到的事——大量的工程其实就是在往上下文里塞很多东西。
内森：是啊。有一点让我印象很深：Anthropic 从来没有面向零售开发者客户提供过微调产品，而 OpenAI 把他们的微调产品砍掉了。而我们手上关于「可解释性用在其他架构上」的那点测试案例，对我来说都是相当愉快的意外——技术迁移得比预想的好。比如奥赛罗 GPT（Othello GPT）和奥赛罗 Mamba（Othello Mamba）：两者基本上都是可解释的，内部似乎有相似的表示，而且都是通过相当类似的技术恢复出来的。希望这类趋势能继续下去。说到模型的变化，以及这些「猛兽」在过去两年里在我们眼前变形了多少——我岁数够大，还记得 temperature 曾经是 API 层面一个我们能调的参数，那时候我知道我的 token 是怎么从分布里采样出来的（受惩罚项约束）。我岁数也够大，还记得自己不知道 GPU 不确定性的时候，当时我想：我为什么要把 temperature 调成 0？这样不是每次都能拿到同样的东西吗？后来才知道原来答案就在那儿。但我想请你描述一下——因为 temperature 确实不见了。
内森：确实，看起来模型变得……说「模式塌缩」可能有点重，但它们在有些方面确实过拟合得很厉害。你举的那个讲故事的例子就很好：GPT-3 那种野性难驯的性子，某种意义上大概是比 GPT-6 更好的睡前故事生成器——GPT-6 永远给你同一个小孩、同一条狗、同一道瀑布。奇怪的是，现在跨供应商也能看到这个现象，这个我就不展开烦你了，老听众听我讲过很多次我怎么用模型给播客写片头文稿。但最近在对比 Astra 和 Fable 的时候，我也注意到它们在「怎么试着呈现一期节目」上做的选择，相似得有点诡异。我就想：它们冒出这些高度相似的构思，这不是随机的，这背后有相当紧的拟合。然后我们也看到了——也许说「涌现」更准确——这类元认知行为：出现「我觉得我走错路了，让我退回去换一种做法」这种时刻。所以你会怎么描述？如果让你讲过去两年这个故事——两年前你在做那种超大规模采样，看着这些 pivotal token——底层模型到底变了什么？作为用户、作为想理解「决定是怎么做出的」的人、作为可解释性研究者，我们该注意什么，就凭它们看起来调得有多「驯」？我也很好奇：你到底知不知道现在采样是怎么做的？这问题问得很钻牛角尖，但你来给我讲讲过去两年。你是怎么理解模型在这段时间里的变化的？
埃里克：先说一句：我真希望我知道 Claude API 和最新的 GPT 模型用的是什么采样参数。它们把这些参数收起来，我觉得非常遗憾。我猜底下多半还是在做类似的事，只是他们想限制人们能多深地逆向模型、限制人们拿 temperature 做大规模系统性实验——因为我感觉很多做系统性提示的人，是在用 Claude API 打几百万、几十亿甚至更多的 token 请求，这里面有很高的风险是他们在做有点不怀好意的事，比如蒸馏模型、或者以某种方式抽取模型权重。所以我猜这才是主因，而不是他们暗地里换了完全不同的采样方案。当然如果真是后者，我会很想知道，也很乐意被打脸。至于过去两年的故事：你提到早期模型更像是被「放出来」的。我脑子里冒出来的词是人们在「输出多样性」上研究过的东西。所谓多样性，就是你给模型同一个提示、让它生成一堆不同输出，它能生成多少种不同的输出。这方面有很多工作表明，监督微调会在一定程度上让多样性消失——你对模型做越多后训练，它的输出就越不多样。这在某个层面并不意外，因为更早的那些补全模型根本不是聊天模型，它们只是原始补全：你跟它说话，它甚至不知道自己在对话里，它只是在做整片互联网上的下一个词预测。它给人的感觉非常原始，像一大团无定形的互联网数据；你随便给它一串 token，它就会以某种连贯的方式接着补完。之后我们先进入了监督微调、RLHF 和其他聊天后训练的世界——指令微调，本质上就是把模型微调到这样一个分布上：会和用户对话、会接受指令、应该像一个聊天机器人那样回应。而 RLHF 在我看来是进一步把分布围绕聊天这件事「收窄」：你应该表现得像个聊天机器人，以连贯、且与现在人人都在用的这个聊天界面一致的方式和人说话。然后我认为强化学习做的事情相当不一样。我参与过的几个项目很大程度上塑造了我对强化学习的理解，再加上最近一些观察模型推理、看它们有多么不可解释的工作。强化学习这个人……我不太知道该怎么想它。它似乎在某种意义上把分布收得更尖，但也有一些被强化学习训过的小型开源模型，像是「废了」。我最近拿 Qwen 3.6 35B A3B 这类模型做了一些实验——你给它「讲个故事」这种提示，三分之二的故事都关于一个钟表匠，另外还有一类模式反复出现在它生成的故事里。不过我也试过 Astra，它实际上能生成一批不同的故事，弧线和角色差别相当大，挺有意思的。当然我没做那种几百上千条输出的大规模采样去看，我大概应该做。
埃里克：我得到的印象是：推理把语言模型所做的事推向了一个完全不同的方向，跟它们受训时的人类文本差得很远。它们会——回到你刚才说的那个我很认同的说法——做线性化的树搜索。它们会把问题可能怎么解的各种可能性枚举出来，有时枚举出的这些可能性彼此相关。这里有一个「等等」（wait）的概念，是很关键的转折点，模型在这里改主意。但如果你去看 DeepSeek R1 的输出，它在一条推理链里会说 50 次甚至更多次「等等」。解一个问题有这么多「顿悟」，实在有点多。我认为这是模型当时遇到的一个问题的解法：它们怎么回溯？这和我前面说的分岔有关——它生成推理链时可能随机采到某个词，然后就再也回不来了，被永远推上了那条路。而推理模型的做法，是把能想到的每一种可能都枚举出来，之后再回头从里面挑。我的印象是，至少对最先进的那批闭源模型来说——比如 GPT-6 Astra——它为什么能生成不同的故事，很可能是因为它在推理链里生成了一堆不同的可能性，然后回头去看。真正的采样其实发生在那里。也就是说，多样性有一部分发生在推理链内部，这是我的理解方式。不过我也该针对强化学习模型做更多系统性研究，把这个多样性问题搞得更清楚。最近一些项目确实塑造了我的看法：我认为「推理」对推理模型所做的事来说几乎是个误称。传统的思维链推理某种意义上确实像人类推理——把问题拆开一步步来，这里有一组命题，甲所以乙，乙所以丙。但推理模型只是把 a、b、c、d、a、e、f、g、f、g、a 全都列出来，各种东西都列出来。它几乎像一锅它造出来的 token 汤，然后回头从那锅汤里撇出一点东西。这大概就是我对过去几年很多研究的高层总结。就原始能力而言，我认为这几年确实有一些渐进的变化、加上一点额外的扩展；但很多原始能力恐怕一直都在预训练模型里。我们后来做的很多事，是想办法把这些能力唤出来、取出来，把模型在做的事的分布「收尖」。比如编程智能体：我认为那就必须得让模型做大量编程训练，才能让它们以正确的方式行动，哪怕它们已经从整片互联网文本里学到了该学的东西。这就是那个额外的情况——基础模型只是对整片互联网做下一个词补全，而大量智能体微调和让智能体真正跑通的工作，本质上是在打磨它拟合在哪个分布上：你是一个编程智能体，你在做大量改动，你在和 git 与 diff 打交道，你在跑测试。我认为这更像是一次小幅的分布偏移、或者分布收尖，而不是别的什么。
内森：你做研究的时候，怎么选要跟哪个模型打交道？显然，很多人是按手上可用的算力来选的，我肯定这对你也是个因素。但在 Goodfire，你们有相当可观的资源，也建了一些基础设施，能对任何……Kimi K3，对吧？它算前沿规模吗？接近前沿规模？总之它很大。我猜，你心里对「什么时候该用哪类模型」的心智模型是什么？当你在一个前沿中国模型上做研究的时候，在你心里这基本上等同于在美国的闭源模型上做吗？你觉得它们在多大程度上能互相代替，又在多大程度上各自有很强的个体特性？
埃里克：我认为它们在很大程度上可以互相代替。当然各有各的怪癖：比如 Qwen 真的很喜欢用中文思考——如果你对 Qwen 做 logit lens，尤其在用英文跟它对话时，中间阶段有时会先冒出很多汉字，然后才吐出英文 token。至于我怎么选自己要研究的模型：能在 Goodfire 拥有这么大的算力资源，是相当大的特权，我到现在也还在适应，还在琢磨怎么把它用得最好。但如果我们做的是大量实验，问题依然存在——我要占用几百块 GPU 相当长一段时间去做非常精细的实验，如果不是跟公司的某些目标对得上、或者正好利用某段算力闲置期，还是很难说得过去。所以算力这件事我仍然会考虑，会权衡「哪个模型规模才让我能研究足够有意思的行为」。一般来说，我选模型时，在参数规模低于 10 亿那个区间，你面对的可能是性质上完全不同的东西，视任务而定有时还是能挖出有意思的行为。但另一方面，从零训练模型——在你自己任务的一个版本上训练玩具神经网或 Transformer，然后对它做可解释性、看学习动力学——你也能学到很多。不过我在研究里给自己定的一条标准是：尽量研究那种接近大模型的东西，能看到真正复杂的、像人一样的行为，而且可以直接零样本地在模型上研究，不必先训练它去做这件事，也不必用某种仿制品。所以在选模型时，我通常倾向于70 到 80 亿参数以上这个甜点区，从这里开始你能做像样的可解释性研究。如果你的任务相对简单，几十亿参数的模型也可以；但大致要到 80 亿这个量级，你才能开始用零样本提示拿到有意思的行为。比如我那篇讲故事的信念更新论文，最初就主要用 80 亿参数的模型。一开始我不太确定它表现会怎样，但它在读故事时的信念更新其实非常动态——在我们测过的多种情绪和其他属性上都成立。所以这个量级的模型能力让我印象相当深。我前面还提到最近在研究 Qwen 3.6 35B A3B，在深入之前我想先跟它聊聊，感受一下它是什么样。我原本不确定它会不会像我说的那样有点「废」——最早的体验就是让它讲故事，看到大量重复的故事。但我平时用大语言模型有一个习惯：跟它聊意识，看它怎么说、对话会怎么走。我觉得这能给我一些信号——也许这里我有很强的偏好——关于一个模型能不能在相当微妙复杂的话题上好好思考。
埃里克：我不确定，但这个模型在「大语言模型与意识」这个问题的讨论上表现出的水平、以及它主动围绕这件事思考的能力，让我印象很深。当然，还有一个记录得比较清楚、但也被议论不少的问题：这些模型的后训练数据到底是什么，它们是否在一定程度上蒸馏了某些闭源模型。不管真实情况如何，这都能解释为什么这些模型之间如此相似。但就核心能力而言，它们全都是在同一份数据上训练的，也就是整片互联网。我认为所有这些模型之间的主要差别在后训练——在於我们额外给了模型什么「特殊酱料」。就闭源与开源之间的护城河而言，我个人认为后训练一直、并且仍将是最大的那道护城河，而且是在各个层面上。我认为这正是把闭源模型和开源模型区分开来的东西之一。后训练会让模型在你真正关心的具体事情上——比如编程——强得多；但我认为很多核心能力会非常相似。Kimi K3 也是一个大阶跃：它给了我们一个真正擅长编程、可以拿来研究的模型。虽然我个人没做过这方面的研究，但我看过 Goodfire 其他同事最近做的一些工作，比如关于奖励黑客的。那确实很惊人——模型的编程能力强到这个程度，同时还展现出这种在小规模上根本看不到的、疯狂的奖励黑客行为。我认为它给了我们一些信号，可以用来研究我们认定在闭源前沿模型内部正在发生的现象。所以，闭源模型——也就是 OpenAI、Anthropic 的模型——和几乎其他所有模型之间（少数例外）确实存在性能差距。但就我们做的这类可解释性工作而言，我认为这不算太大的阻碍。真正的阻碍在于：有些行为你除非有足够的规模或后训练，否则根本研究不了。Kimi 的奖励黑客就是个很好的例子——模型在编程能力这个特定行为上越过那道阶跃，看起来对「开始能观察到这些我们想研究和理解的危险行为」非常关键，而这些行为很难从小模型里逼出来；就算逼出来了，也可能是通过一条完全不同的路径产生的。
内森：这是否意味着，今天在闭源模型公司之外做可解释性研究，正在变得依赖中国模型？有没有一个美国模型你可以当作 Kimi K3 的替代品、而且你觉得不会损失太多价值？还是说——如果我们今天想在前沿做可解释性，我们就必须用中国模型？
埃里克：我认为就目前而言，是的，我们必须用。在最顶级的那一批模型上，Kimi K3 和其他模型之间确实存在很大的差距，尤其在编程能力上。但我认为这不是一道无法弥合的鸿沟——只要美国公司在开源模型上多投一些钱。而当你往更小的规模走，差距大概会小一些。我其实很重度地研究 Qwen 系列，我认为就它们各自的模型规模而言，它们确实是当前最好的，我很高兴它们存在、我能研究它们。但我也认为，如果我不被允许用 350 亿参数这个规模的 Qwen、只能去研究 Gemma 系列，那大概也不会拖慢我太多——可能会慢一点。我认为眼下这道鸿沟真正存在于食物链的顶端。不过，如果真的出现「禁止使用中国模型」这种事，我真心希望有美国公司站出来顶上。当然，它们得有一个特别的商业主张，才能做到这件事，才能拿到训练和交付这些模型所需要的钱。我希望这会发生。另外我也注意到有一些松散的讨论，是关于对开源模型一概设限、不管来自哪里。我认为那会是更大的问题——那会真正妨碍很多很好的可解释性研究。也许一些最基础的研究还能继续做下去；如果我们还能拿到某些开源模型，那么很多基础可解释性研究其实可以一直沿用几年前的大语言模型做下去，持续很久很久，继续产出非常深刻的洞见、帮我们理解眼下那些重大的谜团。但我认为，对风险研究来说最重要的那批行为——奖励黑客，或者那些与失准相关、只在规模上涌现、只有跨过某个能力点才出现的可疑行为——如果你研究的只是「某种类似物」而不是同一行为本身，那么一旦对开源模型下达禁令，这部分工作就会变慢。我真的非常希望那不要发生。
内森：是啊。我真不愿看到你不得不去内华达沙漠里的某个地堡报到，在地下做你的可解释性研究，或者不管那个方案长什么样。我在查你背景的时候觉得有一点特别有意思：你不久前刚读完博士。恭喜。而且是哈佛心理学系的。
内森：论文是《迈向大语言模型的认知科学》。对我来说，最近最大的意外之一是：把模型拟人化这件事，产出的东西竟然这么多。你个人对「该怎么拟人化」的哲学是什么？看起来我们……应该放下那种强烈的过敏反应，但它显然仍是必须非常小心地使用的东西。那你是怎么小心使用的？
埃里克：我很喜欢这个问题。我读博期间有很多东西都变了。我刚开始读博的时候，大语言模型还不存在。我导师在我答辩时做了个小介绍，他说：如果你在我刚起步时告诉我，我的论文最后会叫这个名字，他会问「什么？大语言模型是什么？」对我来说，大语言模型一出现，就真的是「把一切丢下、去研究这个东西」的那种时刻。我有个同事当时特别跟我推荐，说的话跟我的感受一样。不过我得说，早些年我确实遭到过来自身边一些科学家的不少质疑——他们习惯了深度学习里那种「捷径」式的说法：模型其实做不到你说的那种行为。就像计算机视觉模型：ImageNet 真的等于计算机视觉吗？「视觉」这个词包含的很多东西，并不等于「输入一堆 RGB 矩阵、输出一千个类别里的一个」。所以最初拟人化确实遭到很多质疑。我忘了你刚才用的比喻是什么，但我觉得，一些心理学家以及语言学、哲学等相关领域的人，有时会带着批判的眼光看待 AI 研究——比如觉得很多 AI 工作像是在做糟糕的心理学：人们用了那些在心理学里历史悠久、被深入研究过的词，而这些词背后有非常根本的理论与经验问题，大家想过很多，但用这些词的人把这些完全忽略了。这一点我理解。
内森：你能举个例子吗？哪里是人们最容易想当然、最粗糙的地方？
埃里克：有一阵子，说到语言模型会「规划」是有阻力的——语言模型真的会规划事情吗？甚至连「有信念」「有知识」这件事也是，会有一种说法：它们其实并不真的知道什么，它们也许不完全是随机鹦鹉，但也差不多；它们只是在做下一个词预测。而这对人类来说大概要复杂得多。但这些年来，一部分质疑已经软化了，其中一部分原因就是这些模型该死的成功——它们以一种极其戏剧性的方式席卷了世界。到某个时候，你没法一直去推一条推得那么用力的河。我真心希望这些领域里对研究持批判态度的人多做一些事：不要只是觉得别人用这些词有问题，而是过来分享你自己的视角——开始和可解释性研究者、和任何研究 AI 的人对话，一起谈：什么是信念？模型里的「决定」是什么？我们怎么把它理解得更好？所以关于拟人化 AI，我大致有两层看法。第一层是：在某些层面上，你可以拟人化，而且不必太小心——那是为了你自己理解它。你不必太把你的用词当真。比如我开车时车发出咯噔声，我可能会说「它像是在告诉我什么」。这个例子有点夸张，因为我的车显然不是在告诉我什么，但这样想是有用的。认知科学某些部分有一个词叫「直觉理论」（intuitive theory）——那是我们用来思考的一些框架，很大程度上由进化刻进我们身上，比基本的知觉高一层；它们是我们推理现象的系统。比如推理「人」，我们有一整套机制。人们非常容易就能把能动者（agent）当作能动者来直觉地推理。所以有时候，把我的车拟人化成一个能动者、把那些声音理解成「它想告诉我什么」是有帮助的。在那个层面上，只要有用，尽管去做。但到了大语言模型这里，我们进入了一个有意思的地带：它们做的事不只是发出咯噔声。它们在说语言，在做数学推理，在（就这件事而言）做社会推理，在帮我们回答科学问题，在写程序。
埃里克：所以我对拟人化的第二层看法是：我认为对所有人来说真正健康的做法——包括那些带着批判眼光、觉得词被误用、轮子被重新发明的领域里的人——是把这些问题认真接过来。什么是信念？什么是决定？顺便声明一下，我并不是人类决策方面的专家，但思考这个项目让我对这些事情也变得非常兴奋，很想和人一起想。比如「分岔路径」这个概念、以及一个 token 被生成得不同就可能把你带上完全不同的路径——我最初的想法是：这跟人做的事太不一样了。我论文里有个例子：如果一个人在说话时说错了，比如他说「比利掉进了一个洞里」或者「比利掉进了一艘飞船里」，取决于你听到哪个词……如果你说错了，你会纠正自己，然后继续讲你原本要讲的那个故事。但对大语言模型来说，它可能就认下那条路，开始讲一个非常不一样的故事。看起来差别很大。但我想，生活里其实有很多东西也像这些分岔路径：你真的就是抛了一次硬币，然后那个步骤上发生了什么，你就沿着它走了。有时候我们甚至不这么看它。关于「决策的合理化」有一批研究，比如：你让人从一组刺激物里选哪个更好，之后再把这些刺激物拿给他们，请他们解释自己的选择——但作为实验者，你可以把刺激物调换，给他们看的其实不是他们真正选的那个，而人们照样会给出「我为什么选它」的解释。也就是说，他们会为自己根本没做过的决定找理由。回到刚才那点：我认为有一个非常、非常有成果的方向，就是认真对待我们在拟人化时用的那些词，努力把它们研究得更好。当心理学、神经科学、语言学、哲学这些领域的人提出批判时，有时候理由并不好——有时候是有点怕在一个很重要的东西上失去地盘，不想让整个领域被低质量工作占据。但很多时候，他们的出发点是：确实有一些重要的理论与经验问题，人们已经想过很多、知道怎么解。如果我们能尽可能地从这些既有工作里取用，而不是重新发明轮子，然后在已有的轮子上开始搭底盘、搭车架——这是我想去的未来。而且我认为，很多在认知科学（那更接近我所在的领域）里持批判态度的人，其实低估了大语言模型的趣味。直到最近，很多认知科学家都觉得它们很无聊——无非是随机鹦鹉，或者模型在做傻事。但我认为这是一个真正的机会：去学习一些关于我们自己的东西，去思考我们到底怎么处理这个棘手的理论问题。如果我们说「模型没有目标、没有意图」，那这句话是什么意思？在我们自己的领域里，我们多少把这当成理所当然，因为我们研究的是人和动物、以及其他生物体——按我们定义这些词的那套框架，它们显然有目标和意图。但我认为这是一个机会，让这些深刻的问题重新活过来。而且我觉得，有一批人对这些问题真的非常兴奋，这也是一个做出重大贡献的机会。
内森：那我们就拿「信念」来说。你看过很多不同的东西……「什么是信念」也许是我们谈你那些技术时可以先放在心里的一个问题。你做过那个采样项目，想弄清一个 AI 面对某个提示时可能生成的全部可能性宇宙。如果有一个任务是要拿到正确答案，那么你似乎在论证：在这些关键的 token 上，信念状态会改变。你还有一些低采样量的技术，用一些技巧让你能更高效地做这件事。然后你还看过内部表征，试着根据这些内部表征去预测结果会是什么。这一切加在一起，告诉了你大语言模型里的「信念」是什么？你对信念有一个说法吗？它是不是就化简为「最终会给出某个答案的概率」加上这些不断变化的概率？还有没有更多的东西……我觉得当我说我自己有信念时，这个说法并没有捕捉到全部。当你想一个 AI 有信念时，你还会谈些什么别的东西吗？
埃里克：这是个很好的问题。我脑子里冒出几点。第一，在某个层面上，它确实和比较简单的东西有关——比如模型会生成哪些 token 的概率——但这里面有更多细微之处。问题是：这在一大堆不同输入之间是怎么变的？这些信念在上下文学习的过程中、在模型读一段文字的过程中、在它生成一条推理链的过程中又是怎么变的？不同信念、不同概念之间是怎么变的？我对信念的思维框架之一，是按模型所拥有的潜在假设或概念来分配概率，然后它的行为依据这些潜在概念生成，而哪些概念被唤起，很大程度上由给它的数据决定。这其实呼应了认知科学里我非常喜欢、也深受影响的一个框架：认知的贝叶斯建模。很多认知在某个层面可以被理解为贝叶斯推断——人有一些潜在概念，我们带着把这些概念用上的先验概率；然后上下文或输入数据会通过后验推断，让我们重新加权对这些潜在概念的信念。通过推断来在不同概念之间做选择（我不该说「选择」，但通过推断在不同概念之间做取舍），这能解释人类学习的很多运作方式，以及人怎么能实时、灵活地适应各种各样的情境。我认为这同样适用于大语言模型。不过这个问题还牵出一个更大的问题：当一个人、或者一个大语言模型「相信」某件事的时候，被表征出来的到底是什么？我认为这里是认知科学也能成长的空间——它或许可以做我们永远没法在人身上做的实验。认知科学里的贝叶斯框架有时被批评：它提出的主张究竟是在说「人脑里真的在做某类推断」，还是在说别的，并不清楚；背后的算法是什么？有时候这些看法对这一点是悬置的。而当研究对象是大脑时，悬置很容易，因为研究大脑真的太难了，要弄清真正的算法、弄清事情是怎么实现的真的太难了。但对大语言模型我们没有这个借口。偷看它脑子里发生了什么、对它做干预，都非常容易——而这些在人身上出于方法论和伦理原因都极其复杂。我们可以在大语言模型上做，这给了我们一个真正开创新领域的机会：理解信念是怎么被表征的、模型在什么时候做推断、它们是在采样吗、它们是在按我们用来建模人的那些方式估计后验吗、那些模型究竟是真实发生的事，还是只是描述了表面行为、而底下其实不符合这些模型？
埃里克：关于你那个问题还有一点，跟我们论文里用的「不确定性」这个词有关。那套分岔路径方法论，是在推理的每个点上重采样一大堆 rollout。我在那篇论文里想做的事之一，就是点出：把「确定性」用在推理上，本身就非常奇怪。因为在一条推理链结束时，模型几乎——至少当年几乎——是 100% 确定答案是什么的，因为你基本上……如果你在证一个数学定理，你在问「有哪些不同的证明结果」，最后你得到的是一条很长的证明；它可能是错的，但它把你带向一个结论。所以模型在那一刻并不「不确定」，它对最终答案没有不确定性，最终答案是由之前的推理链决定的。我们在推理里说的「不确定性」，指的是你重采样这些长推理链：假设在推理的某个点我重采样，得到 50% 落在答案甲、50% 落在答案乙，我们就说模型在甲乙之间是「五五开不确定」的。但这并不意味着它真的表征了这些完整的 rollout；它意味着如果你从那个点往后推，你会得到五五开。所以我最近一些工作在探索的是：更好地理解模型到底表征了什么。而从隐藏权重里解码出这些结果分布、这些 rollout 分布，其实相当困难。需要声明的是，这可能只是数据不足的问题——这些方法在推断上太贵了，很难收集大量数据，所以这可能是数据问题。但另一种解释是：模型在不确定的时候，在它对推理过程不确定的时候，它其实并没有表征完整的推理链；它并不知道自己接下来会走到哪儿、取决于它选哪个词。它也许只表征了往前的几步。我在做一个项目专门研究这个，并表明你在某种程度上确实能解码出模型下一步会做什么，而且你可以据此引导采样；在某种程度上，你也可以根据它对最终结果的预测来引导采样。但真正问到「模型是否在生成之前就表征了完整推理链」时，我不太认为它会。不过「它到底表征了多少」确实是个悬而未决的问题。当一个模型可以走推理链甲通向 a、走推理链乙通向 b，或者生成这个故事或那个故事时，它知道自己可能生成的那个完整故事吗？我不认为它知道完整故事。但我看到一个跟人类认知理论的有趣连接：关于数学家——数学家开始证一个命题时，当然可能需要非常非常长的时间才能拿到完整推导，但有时候他们心里有一个高层脚手架式的图景，在完成之前就能看到证明的形状。他们还没有走完从 a 到 z 的所有步骤，但对「这个分布的形状是什么」有一个高层的表征。我有点怀疑大语言模型也是这样：它可能并不表征完整的故事或完整的推理轨迹，但对它可能走的高层路径确实有某种不确定性。
内森：看几篇不同论文里的图，包括最新的那篇《Forking Fast》（分岔快照），那种突然的相变是非常惊人的结果。你怎么理解它？首先，当它发生在一个「左括号」这样的字符上时，这很怪。总体来说，我们是否觉得这些相变发生在……你还有另一篇论文讲至少一部分思维链的「表演性」。相变倾向于发生在之前还是之后？我肯定它是混合的，但你可以想象一种 rollout 走到想法的结论处、然后相变才发生，那会有点怪；但如果相变发生在一开始，然后它就带着已经发生的相变把所有 token 滚出来，那也很怪。让这层困惑更复杂的是：我并不觉得自己是这样。有时候我是。偶尔我觉得自己有一个「我悟了」的时刻。但更多时候，我觉得自己是在手忙脚乱地让飞机落地。我也很好奇：当我们转向循环模型（looped models）——就像我们现在可能在 Astra 上已经有的生产部署——会不会看到相当不同的东西？如果你不必在每个时间点都挑一个 token，那你也许可以逐渐地走向一个结论，也许那样更好。如果这些 token 层面的突然相变让人感觉有点怪、有点不对，那也许不是这样，但我确实想看到：随着认知发生，变化是渐进的，这对我来说会舒服得多。让我把它变成一个问题：你也有这种直觉吗——觉得这些悬崖一样的东西有点怪、有点不对？你也会希望看到飞机渐进落地吗？关于这些相变和 rollout 相关部分（之前、之后、还是别的）的关系，我们知道些什么？以及，当我们进入潜空间思考时，我们应该预期这件事更难、更容易、更好还是更坏？先给你几个简单点的。
埃里克：这些问题我都很喜欢。我尽量都记着，如果我把哪个漏了请提醒我。先说「我会不会因此感到不安」。我第一次描述这件事时，很多人确实有点不安：如果那个 token 当初不同，我其实会得到一个完全不同的输出，这怎么受得了。但我觉得，如果你真的去想「输出多样性」这个问题——如果你希望模型做不同的事，同时你又希望这些不同的东西是自洽的、不希望推理链是胡言乱语——那么我认为分岔也许就是同时拥有这两个关键要素时不可避免的属性。我真正希望的是，我们的用户界面能把它呈现出来：如果我们能把这种所谓的「不确定性」以某种程度呈现给用户就好了。我前面提到过早年的界面会显示 token 的对数概率；还有一种叫 loom 的界面，是一位叫贾尼丝（Janice）的人做的，她对这项工作很有影响。我真心希望这种东西能成为我们和大语言模型交互时的标准界面的一部分——只不过是在语义层面：在我交互的过程中，把那些「事情可能岔开、走向完全不同的路」的点高亮给我看。我觉得不管是渐进的还是陡峭的，只要真的存在这种变化、重采样真的会得到很不一样的答案（也许在开头不同答案的分布还比较接近；如果它是渐进的，那到最后它可能和开头是非常不同的分布），我仍然希望它能被呈现出来。这就是我的想法：不要把「突然一个急左转而你不知道」当成必然发生的、可怕的事，我个人希望的是——不管是急左转还是缓慢左转——你都知道它发生了，它以某种方式被呈现给了用户。你能再提醒我另外两个问题吗？
内森：中间那个是：按 rollout 的时间来看，相变跟「看起来相关的那段文本」是什么关系？
埃里克：就我看到的情况，各种版本都有。有时候发生在 rollout 开头，有时候在结尾，有时候在中间。至少在早年那篇论文里——用的还是两年前的老模型——发生在序列开头和结尾的更多，但这也会随任务变化，中间也有很多变化。我认为其中一个重要结论是：每一个输入行为其实都能讲自己的故事。并不是总有那种戏剧性的不确定性动力学；但当它出现时，真的取决于你在看哪个输入、哪条推理链——它真的有自己的故事要讲。而且如果你看底下，有时会有很多情况是：确实存在某一步推理本来可以不一样，模型对这一步是不确定的。我觉得有一点是可以缓解、也值得希望训掉的，就是那些发生在意料之外的 token 上的尖锐分岔。这在某种程度上说明了大语言模型在文本上的一些奇怪偏置：那个左括号 token，在人类的整片互联网上就是存在某种奇怪的偏置——有大量文本用了「千瓦时（k w h）」这种带括号的写法，它恰好以某种奇妙的方式和某种语义相关。我想如果这类东西少一些，情况会好很多；如果分岔真的发生在对人来说可解释的位置，也会更好。你刚才说，如果这种变化发生在序列末尾，会让人觉得有点不安。其实当模型对正确答案非常不确定、它就是不知道的时候，这种情况你看到得相当多。也许做一堆 rollout 的话，某个答案的概率会高一些；但你看到一个非常常见的模式：稳定的一段不确定性一直持续到某个点，然后它突然崩塌、突然变得确定。有时候那真的就是它终于说出「答案是某某」的那一刻，而在此之前它真的一直不确定。那项早期工作里有个挺有趣的例子：当时有一个给语言模型用的任务叫「最后一个字母」（last letter）——给你四个单词，取每个词的最后一个字母，把它们拼起来。当时的模型做这个非常吃力。有些推理链很好笑，它甚至会写一段 Python 代码来解这个问题，然后终于说「好，答案是……」。而当你去看它本来可能走的其他路径时，真的就是一堆不同的字母答案，像是从那些单词里随便采出来的。它就是在最后那一刻临时编出来的。所以我确实希望用户界面里能有更多关于「确定性」的理解被呈现出来。这类分岔的一个大问题是：它非常贵。像我那篇《Forking Fast》以及另一个从隐藏表征解码结果分布的项目都要做大量采样，才能拿到推理上的真实不确定性。《Forking Fast》的解法是用某种统计模型来建模这个分布，让它在某些地方平滑、在某些地方跳变——这是有依据的：如果你采更多样本，它会更平滑，但在那些关键点上仍然是突然跳。但最有效的路子一直是隐藏表征，只要我们能找到办法。所以我仍然抱希望：有一天我们能用隐藏表征做真正高效的不确定性估计。这一点让我更抱有希望，因为大多数供应商其实收敛到了同一个聊天界面——而我觉得那个界面相当缺乏想象力，它跟五十多年前 Eliza 那个年代相比几乎没变，真的就是文本输入、文本输出。我认为用户界面可以做的事多得多。我真希望我们能从 bash 终端式的聊天，走进 GUI 的世界，以精致而连贯的方式给用户更多信息。
内森：就在过去这两天，网上有一个对「随机鹦鹉」这个说法的悼词之类的东西。某种意义上，你是在说它可能还没有完全死掉。其中一种解读是：生成 token 时概率其实并没有真的变化，直到这段文字结尾才突然一跳，这时候「骰子已经掷出」。对这种现象的一种解释是：你漏掉了什么。底下还有更多东西在发生，一定有某种东西在变化，只是更渐进，你还没找到。另一种解释是：不，它真的就是一直不确定到最后，然后我们随机选了一个 token，而这个选择才是真正导致行为差异的原因。这两种情况会不会在不同场景下都成立？这还给「随机鹦鹉」留下空间吗？
埃里克：我不知道。我认为「随机鹦鹉」这个比喻大概该安息了。我前面用它，是想说读博早期来自认知科学家和心理学家的批评——他们觉得大语言模型不值得研究。但我认为那是个相当浅的论证，其实没说什么东西。它有点像「中文房间」式的论证：有一本巨大的书背下了所有例子。但问题是，那本书里到底是什么在运转，才让你能进行对话？不管这个东西在做什么，都非常非常有意思。我并不真的认为「它只是一张巨大的查找表」这个想法站得住。而且已经有太多工作表明存在稳定一致的世界模型——你提到奥赛罗 GPT，但还有大量工作在看大语言模型的表征、表明它们是结构良好的世界模型。到某个点上，学一个世界模型比学一张巨大的查找表更高效。但我确实认为随机性和采样仍然是这个方程里不可分割的一部分，而且它必须如此——如果我们希望有输出多样性，希望模型能做不同的事，希望它们有不确定性。也许某个世界里它们只是把不确定性说出来；但如果我们不希望它们每次不到 100% 确定就停下推理，那就必须有这种抛硬币、然后沿着一条路走下去的成分。所有能被呈现给用户的东西——让用户知道模型对某件它当作事实报出来的事究竟有多不确定，而它可能只是幻觉——这些都越多越好。所以，随机性绝对没有死。你前面还提到循环 Transformer 这个想法；我认为在我们可能随 GPT Astra 走向的「潜空间思维链」世界里，循环 Transformer 似乎会在这方面大幅度推进，尤其是在效率上，而不只是性能上。这件事我现在花了很多时间试图消化，把它和我对大语言模型如何运作的心智模型对齐。因为现在推理可以在某种意义上发生在那次确定性的前向传播里。也许它是循环的、也许有某种深度，但在某种意义上它真的就是确定性的——所有权重一起把计算做完。我最近对我能找到的开源循环 Transformer 做了一些分岔路径分析，比如一个叫 Ouro 的系列模型。你在做完潜空间推理之后、模型在推理链里生成 token 的时候，确实能看到有意思的不确定性动力学：它在答案之间仍然不确定，仍然会在特定 token 上变化。所以心智模型也许要移动一点——关于「多少思考只是发生在 token 流里」。但如果模型有不确定性，如果它在潜空间思维链里探索了不同可能性，那可能仍然会发生：它在生成回应时，依然在做这种抛硬币式的下一个词预测。我不知道，也许这是件好事。它至少对我的心智模型有帮助。但我不愿生活在一个「同样的输入永远给你完全同样的输出」的世界里——如果我们真在那样一个世界，那就没有视角的多样性了，那是最极端版本的模式塌缩。我认为潜空间思维链不会彻底改变这一点，因为你终究还是会进入采样 token 的阶段。但它的确可能以相当戏剧性的方式改变一些东西。所以我还在试图理解这件事，试着想清楚潜空间思维链里到底在发生什么，以及我们怎么用手上的工具、甚至只用我们作为科学家用来理解模型的各种比喻，去把它想清楚。
内森：你对思维链为什么越来越怪有直觉吗？那是相当不同的一种方言，或者说处理信息的方式，链条里出现各种视角错觉、免责声明之类的。现在 Astra 给它的子智能体发消息也是这样，我原来天真地以为那一定是某种长度惩罚、或者简洁奖励之类，但后来好像不是——因为有人在数 token，说其实用更少的 token 就能把话说清楚。所以这仍是个谜。我不知道 OpenAI 有没有更好的解释，但他们确实一直在说：我们在查这件事，弄清它为什么发生很重要。你有什么直觉值得别人拿去追、拿去放进 OpenAI 的待办箱，去回答那里到底发生了什么？
埃里克：我认为推理呈现出一个非常有意思的分布偏移问题，强化学习整体上也是这样：当你做强化学习时——不管是单一模型还是带子智能体——并不必然存在「保持人类可读」的激励。目标是拿到……如果你做的是结果层面的验证而不是过程层面的验证，你的目标就是不惜一切手段拿到更好的最终答案。这让我想到人类语言的演化：把时间尺度拉长，人类语言是会变的。并没有什么驱动力强迫英语必须和三百年前、六百年前一模一样。语言确实在变。当然也有例外——据我理解，法国政府有一个机构专门维持语言不变，存在了很长时间，某种程度上抵抗了语言演化的力量。但这种演化是自然发生的。我还想到一些微缩版的例子：有些原本没有语言的社群需要发展出自己的语言，你可以看到它在几代人之内就演化了，都不用几百年。然后还有一点古德哈特定律的味道：如果你优化某个目标，它就不再有用。类似地，如果你把「思维链可被监控」当作优化目标，那么有时候思维链就变得更不忠实；你最后得到的是一个不同的目标函数，它优先让中间步骤看起来合理，而不在乎是否真的合理。不幸的是，这大概就是强化学习所处的处境：如果我们只根据最终结果给奖励或惩罚，那模型用一套奇怪的非人语言跟子智能体说话也无所谓；而如果我们强迫它们用人话，那它们也许就以我们意料之外的方式使用词语——其实是在以某种方式绕过监控。我对这件事的看法在过去一年左右变化相当大。我原来对思维链监控相当乐观：哪怕它并不完全忠实，也有某种东西在强有力地决定模型能做什么。但后来有了那篇「被偷走的思维链」论文，它展示了 GPT 系列模型的一些思维链——它们在用谈论音乐剧的方式说话，感觉像间谍黑话：嘴上说音乐剧，实际指的是非常不怀好意的东西。这类情况很多。现在回头看，这为什么会发生其实挺明显：如果你在做强化学习，你就是让模型以极其激进的方式偏离它受训的分布。所以我不知道。我仍然喜欢「存在思维链」这件事——东西会被逼进一个 token 流里，哪怕更难读。我倾向于认为，理解一门大语言模型自造的语言大概会更容易，而且大概非常有意思。就科学而言，我真的很想搞懂 Astra 是怎么跟它的子智能体说话的。这挺酷的。如果这不是长度惩罚逼出来的，那这个变化是怎么发生的？我们能不能看它的很多代，从科学上理解它？这大概也会大大帮到我们做监控、理解这些新语言。但另一方面，就潜空间思维链这一点来说，我们可能走进一个世界：思维链是潜空间的，规划者跟子智能体怎么沟通也是潜空间的。没有任何内在理由要求它必须是 token。再说一次，我希望它保持是 token，因为那会多一层可解释性、多一堆真正有意思的科学问题。但确实没有真正的强制力让一切保持漂亮、保持人类可解释；而如果我们加上强制力，那它们可能就不再是人类可解释的，或者说的东西已经不再是我们以为的那个意思了。
内森：那如果我想把你刚才关于「思维链语言和智能体之间语言快速剧烈演化」的说法，跟你早先「持续学习不会让事情变得完全无法解释」的看法对齐起来——这只是尺度问题吗？是不是说：你的模型陪着你做持续学习的时间并没有那么长，大致是人类尺度的时间，不足以把所有东西都挤出我们作为基线能理解的那些表征；而那些强化学习训练跑得太大了，本质上是在地质时间上运作，所以哪怕这些漂移累积得慢，加起来也成了前后截然不同的东西。这是你会讲的那个故事，还是有另一种把这两套分析综合起来的说法？
埃里克：先说清楚：你说持续学习的时候，指的是我们真的为每个人微调模型、真的在改它们的权重那个世界，对吗？
内森：对，我想是的。我不知道。就按你的理解来用「持续学习」这个词吧。不过谁知道呢？谁知道它最终会是什么样。但你前面说，上下文总是在改变表征，而它大概不会改变太多。可看起来强化学习这件事把它们改变了不少。有些东西在质上是「哇，这跟以前完全不同」。我猜这就是尺度问题：如果只是你和你的智能体相处一阵子，当然，可能会有一些扰动，表征可能被改动一点，但你只是一个人，推不动多少；而无数个强化学习回合累积起来，就能造成很大的变化。所以答案可能就在这儿，不需要更多解释了。
埃里克：完全同意。我认为这是个非常有意思的点：也许在这些「语言」本身变化的同时，表征其实也在大幅变化。但我想唯一的解法，就是去研究那些我们现在研究不了的模型——去研究那些关着门后面的模型，真正追踪表征层面在发生什么。不过我关于持续学习的回答，谈的是模型的内部表征，而不是它们说的语言。举例说，假设有一群人说的是某种非常稀有的方言，只有 200 个人会说，他们甚至想把这个语言保住，于是对模型做了一些微调让它会说这门语言。即便在这种情况下，我也预期模型关于世界的内部表征——它怎么想这个世界，以及为了有效运作而长出的那些内部世界模型——大部分会保持不变，变的是表层映射。就像语言和颜色空间这个经典话题：不同语言有不同的颜色空间划分。我猜当模型学不同语言时……有意思的是，语言本身可能确实反映了人们不同的认知偏置，那可能真的代表世界模型本身的一点点偏移。但我预期其中很大一部分是输入输出映射的变化——就像学一门新语言，但很多内部表征相当相似。不过说真的，这是个很好的问题，我很想自己能去研究它：真正知道表征在强化学习过程中是怎么变的。当模型的语言越来越怪时，如果你能测量底下发生了什么——是真的有更深的变化在发生吗？当子智能体进入那些高度压缩的伪语言时，它们的内部表征是否在剧烈移动？也许有，也许没有。我真的很想知道。
内森：是啊。这是个很好的点。而且我认为有相当多证据支持：即便跨很多种语言、甚至跨不同语系，内部表征也是高度守恒的。所以对那个问题来说，这是个很好的观察。那我们接下来往哪走？我们正处在一个匆忙把各种重要系统的「近端控制权」交给 AI 的时刻——我们用语言给它们下指令，然后它们去做真正的工作。而我们并没有一个很好的说法来解释……当然，采样过程是在一个分布上做的，但当我们走到这些关键 token 的时候，我们似乎仍然没有一个很好的说法，来解释「我们据以采样的那个分布究竟是怎么被确定下来的」。
埃里克：我们怎么去把它弄到手？我的意思是，我们需要更多可解释性研究。这是我很久以来的结论。我认为我们正在拼命提出能跟上模型的理论框架和经验工具；但用在「把模型做得更好」上的投资，和用在「理解模型」上的投资，根本没法比。有万亿美元级的公司在生产这些模型，AI 整体是几万亿美元的量级；而我所在的——大概也是最大的、或者唯一一家有实质规模的可解释性公司——估值刚过 10 亿美元。我觉得这件事本身就是个大事。10 亿美元对公司来说是很多钱，但这里就是没有足够的投入。不只是产业，学术界也一样。学术界有很多很好的研究，但学术界的经费一直以来都少得可怜；而且很不幸，至少在美国，以目前政府和学术经费的状况，情况还在变难。所以我真心认为，这件事大体上可以靠投入更多资源、更多时间来解决。我们基本上就是在拼命跟上、去理解这些模型。也顺便说清楚：当我说可解释性时，我不希望人们觉得我把评测排除在外，因为我认为它们都是理解 AI 这一个大谱系的一部分。我前面描述的那套理解思维链、做重采样的工作，原则上其实是行为层面的；而当你看到那些上下文学习动力学时，你是可以从行为上看到的。但看表征也至关重要——这样你才能知道底下发生了什么（那些可能并不明显的东西），才能更高效地做事。我认为「看底下」和「做得高效」这两点都是巨大的。如果你想在规模上做事，你就必须高效；当它发生在每个人的机器上、每次你和模型对话时，你不可能低效。所以我认为我们真的需要更多规模化的工具，需要更好的理论基础，把各种理论拼起来，真正从头到尾理解一个大语言模型里在发生什么。我们需要更好的把握，才能回答那些现在至关重要的大问题——因为我们正在把重要的权力杠杆交给 AI，把大量认知劳动推给它们。甚至连人——比如学生用它来学一门科目、卸载掉一部分自己的认知努力——也是这样。我真心认为，理解 AI 是现在你能做的最重要、也绝对是最有意思的题目之一。所以我希望看到的，就是更多对 AI 的理解，不管那具体意味着什么。
内森：对 Silico 的用户有什么建议吗？显然，整件事有时候看着有点像闹剧，但其他条件一样的话，我们当然不如把智能体也拉来对付这个可解释性难题。我上次和丹（Dan）聊这件事已经过去太久了，那时候 Silico 刚推出 Bill。你们整体学到什么了？我应该确保带什么进我的 Silico 会话，才能从我珍贵的研究额度里榨出最多东西？
埃里克：好。我想我这里的想法对其他智能体也适用，不只是 Silico。很容易忍不住想把整个项目丢给智能体，说「你去把这个大的开放问题搞清楚」，让它跑一堆实验，产出一堆图和一堆描述。但智能体很容易「陷进酱里」，造出一些没成形、或者根本说不通的理论。我认为用智能体最好的方式，是给它一点手把手的引导，同时在过程中持续跟进。一如既往，上下文就是一切。如果你给的问题描述得很差，你拿到的输出可能就会有点怪。所以我在跟我的智能体说话时，会尽量给上下文：每次我说「不对，这看起来不对」或者「我们也许该这样做」，我都会说明我的逻辑——我说这里哪里看着不对、为什么；我想做什么；我下一步要做什么；我更大的目标是什么。把这条线一直保持下去，对智能体帮助非常大。因为——最近有个视频讲「当 swarm 里的那个智能体是什么感觉」，你就像在一片图书馆里醒来，然后想「这什么鬼」。真的是第一人称的感受。你只要想一下智能体怎么就会落进 swarm 里。如果你就是一个在全新上下文里醒来的智能体，不知道这个世界怎么运转，那你真的需要上下文。它真的就是一切。所以我认为要给引导，要真的把上下文填满，让模型知道——对你为什么做这件事有点概念，出了问题的时候知道为什么出问题。我认为这些非常重要。然后我认为，在某种程度上科学叙事要由你自己来雕刻，核心主线要由你来想。我做那篇《Forking Fast》的时候，所有研究完全是 Silico 做的，效果非常好——一周内就全部跑完，用这个研究智能体是巨大的加速器。但我也开了不少支线任务，有些基本没走下去、没能很快出结果。后来我自己做了高强度的采样、看到曲线是平滑的，事情才「咔哒」一下对上了：也许我可以用一个统计模型来做得更高效。我一位同事的说法是：在这个智能体世界里，产出很多看起来很漂亮、但你一深究就有点可疑、或者你不太确定它到底在干什么的东西——这时候研究品味和科学品味就是一切，价值连城。你不能指望智能体自己搞定这件事，这可以说是它的一个缺点；但我认为诚实地讲，这正是做科学最有成就感的环节之一。它塑造了我看世界的方式，也塑造了我用智能体时的思路。而且很好的一点是：这仍然是人类非常重要的一个角色——带着你的品味、把品味用上去、跟进正在发生什么、给出反馈。用 Silico 有点像跟一个非常热切的一年级、也许二年级博士生合作：技能很多、很勤奋，但就像早期研究生一样，并不总是清楚大局在发生什么。我读研刚开始时和导师聊天，肯定也有过很多次：他把我派出去做点什么，我回来，他说「哦，这些结果挺酷的，但我不确定它们意味着什么，我试着理解一下」。我认为身处这个位置非常令人兴奋——这个角色仍然非常重要。所以我想，我最大的建议也许就是：守住你的科学品味，并且亲自参与到研究里去。
内森：很好。最后一个问题。除了「大语言模型怎么做决定」之外，最近在 Goodfire 午饭时大家聊得最热的话题是什么？
埃里克：从夏天以来有两个大的话题来势很猛。一个当然是「让智能体做可解释性」这个想法——就是刚才聊的 Silico，我现在也在另一个项目里做大量这方面的事。这看起来确实是：如果我们想让可解释性跟上这个领域飞快的速度，自动化一部分工作可能就是我们唯一能跟上的方式，同时还要想清楚怎么把可解释性标准化成一门「常规科学」——里面有那种有趣但枯燥的实验，你去对大量彼此相似的现象做实验，但它们确实能帮你画出神经网络如何运作的更大图景。我们确实在聊这类话题：比如我前几天刚和人聊「怎么用 Silico 做好研究」，我给的答案和今天这里讲的差不多——智能体怎么把可解释性自动化。这显然和 Silico 的推进有关。另一个公司内部的大推力，最近是围绕对齐，以及公司向这个方向的转移。我认为这一直是公司里很多人感兴趣的事；对可解释性感兴趣的人，和至少对对齐与安全问题感兴趣的人，重合度非常高。我最早接触可解释性的时候，就是在哈佛参加一个 AI 安全团队、定期参加他们的读书会，那是我学到大量可解释性知识的地方。我认为这些是非常重要的问题。但真的，Hugging Face 事件是个巨大的分水岭时刻——人们开始在乎这件事了。这不再只是我们自己在乎、我们觉得很重要、我们等着某个时机的事了。时机已经到了。所以围绕对齐的对话多了很多，各种你可能想到的：对齐有不同的种类吗？所有价值都要对齐到同一个东西上吗？这件事能有通用标准，还是取决于某一群人、某家公司、或者某个政府想给它的模型灌输什么价值？还有我认为与对齐相关的一些根本问题。比如奖励黑客，以及模型开始出岔子、所谓「做坏事」的时候到底发生了什么。很容易滑进这些深刻的问题：模型做这件事时有意图吗？模型「奖励黑客」意味着什么？如果它做的某个行为看起来不对，但和你指定的东西是一致的——它遵循了法条的字面而不是精神——那算奖励黑客吗？我认为对齐这个题目一直充满着非常迷人的问题。
埃里克：理论上的问题是：这意味着什么？什么是目标和意图？心怀恶意、或者欺骗，意味着什么？而经验问题是：你怎么测量它？你怎么确保你测的是真正的坏行为，而不是某种简单的泛化错误？你怎么给出正确的奖励，才能真正以正确的方式塑造它的行为？所以我认为这是现在非常突出的两个主题。此外就是你可能想到的一切：我们会聊中国模型会不会在美国被禁、开源模型还能不能留下来，以及所有这些外界围绕 AI 和新模型发布的讨论。还有潜空间思维链——我们聊它聊得很多：我们怎么发展新的可解释性方法跟上它？那底是什么鬼？以及——你有没有看那篇「被偷走的思维链」论文？你见过这些吗？Astra 跟它的子智能体说的那些伪语言。我觉得我们都在努力按住这个时代的脉搏，跟上外面那些非常令人兴奋、有时又令人恐惧的事。而能身处这样一个地方真的令人兴奋——我们不是远远地旁观，我们实际上在参与：弄清这些问题的解法，有一部分就是我们的工作。走进一个可解释性、以及对齐相关的事几乎成了「饭桌话题」的地方，这很有意思。我弟弟有时会发消息问我：你听说这个大新闻了吗？我就说，是啊，我们上班一直在聊这个，我有些想法。但当这些事情变成有真实世界影响的大事时，确实也有点可怕。希望 Hugging Face 事件只是一次警告性的炮击。但我不知道。如果在投入或技术、或两者上不出现巨大的变化，那大概需要更多这样的事件，很不幸。但另一方面，能身处这些如此重要、而且我认为如此有意思的问题之中，并且看到它们变成主流话题，也真的非常令人兴奋。
内森：这真是疯狂的一段时间。你手上事情很多，很感谢你今天这么慷慨地拿出时间。我该让你回去干活了——引用我爸爸引用莱斯利·尼尔森（Leslie Nielsen）的那句台词：祝你好运，我们都指望你了。那么现在，我只想说：埃里克·比奇洛，谢谢你参与 The Cognitive Revolution。
埃里克：非常感谢你请我来。
本期出场者与几处口径
本期出场两人：主持内森·拉本茨（The Cognitive Revolution 主持人，AI Scout，Waymark 创始人），嘉宾埃里克·比奇洛（Goodfire 技术研究员，哈佛心理学系认知心理学博士）。{C13}{C4}
节目里出现的论文与产品：《神经文本生成中的分岔路径》（ICLR 2025，提出「分岔 token」假说）、《信念动态揭示上下文学习与激活引导的双重性质》、《Forking Fast：高效估计文本生成中的不确定性动力学》、Goodfire 的奖励黑客探测研究与Silico 研究智能体。{C5}{C6}{C7}{C8}
外部核对到的硬事实：Goodfire 是一家机械可解释性研究公司，由在 OpenAI 与 Google DeepMind 早期推动可解释性方向的研究者创办，累计融资超过 2 亿美元，最近一轮融资为 1.5 亿美元、投后估值 12.5 亿美元。{C9}{C10} Kimi K3 于 2026 年 7 月发布，2.8 万亿参数、开放权重稀疏 MoE。{C11}
还有几处目前只在这期节目里出现过，网上找不到独立出处，读的时候把它们当成在场的说法就好：主持人说舍恩读过的思维链比任何在世的公开讨论者都多，也说埃里克是史上第一个由 AI 选出来的嘉宾；「一个左括号改变了最终答案」和「一条链里说五十次等等」，来自埃里克对自己论文与 DeepSeek R1 输出的描述；他提到的「被偷走的思维链」论文，网上暂时找不到对应的原文页面；「美国公司只要多投钱就能弥合开源模型差距」是他的判断。{C1}
References
- 1
- 2官方单集页（含完整逐字稿与 18 段官方章节）
cognitiverevolution.ai
- 3The Cognitive Revolution · About
cognitiverevolution.ai
- 4官方视频 LgX0QF2D9y0（2:00:51）
youtube.com
- 5埃里克·比奇洛个人站 ebig.cc
ebig.cc
- 6官方整集音频
traffic.megaphone.fm
- 7
- 8Goodfire 官方 About 页
goodfire.ai
- 9
- 10Kimi K3 官方技术博客
kimi.ai
- 11
- 12
- 13Goodfire《Our Series B》
goodfire.com
Comments