这期节目被标成 LOOK BACK：2023 年录的，他还在 OpenAI。隔三年重听，最扎人的一句是——预测就是压缩，压缩就是理解。
谁在说话
伊利亚·苏茨克维（Ilya Sutskever），Safe Superintelligence Inc.（SSI）联合创始人兼首席科学家。1986 年生于苏联下诺夫哥罗德，5 岁随家人迁居以色列耶路撒冷，16 岁移居加拿大，进多伦多大学时直接读三年级本科；2005 年数学学士、2007 年计算机硕士、2013 年计算机博士，导师是杰夫·辛顿。2012 年与亚历克斯·克里热夫斯基、辛顿做出 AlexNet；2013 年随 DNNResearch 被谷歌收购进入 Google Brain，做出 seq2seq，也是 AlphaGo 论文作者之一；2015 年底联合创办 OpenAI 并任首席科学家；2023 年 11 月参与董事会罢免萨姆·奥尔特曼，一周后奥尔特曼回归，他退出董事会；2024 年 5 月离开 OpenAI，6 月与丹尼尔·格罗斯、丹尼尔·莱维创办 SSI，一年内估值超过 300 亿美元12。
克雷格·史密斯（Craig Smith），Eye on A.I. 主理人，前《纽约时报》记者，驻香港多年，长期报道科技与亚洲商业。
这一期的性质，先说清楚
官方单集主视觉左上角挂着 LOOK BACK 标签，节目说明写明：这段对话录制时，伊利亚还是 OpenAI 的首席科学家——在董事会风波之前；2026 年 10 月 9 日重新发布3。对话里他自己也露了底：提到 ImageNet 时说「那是 2003 年，差不多正好二十年前」，提到 DALL·E 和 iGPT 用的是「我们做过」，提到 Parti 是「谷歌今年早些时候」——所以录音落在 2023 年。
这让它成为一份少见的档案：一个把 GPT 路线从架构、目标函数一路推到 GPT-3／GPT-4 的人，在事情还没被证明之前，讲清楚他凭什么相信这条路。重听的时候要带两把尺子：一把量他当时说对了什么，一把量他当时没法预见的什么。
逐段要点整理
00:00 那段对话之前的世界，和之后的世界
节目片头补上了这三年发生的事：伊利亚离开 OpenAI，办了 SSI，「一个使命、没有产品」，估值涨到 320 亿美元；Anthropic 的 Claude Mythos 在计算机安全上强到不公开发布，只给一批审核过的伙伴；模型进展越来越「垂直」，网络安全、法律、健康、媒体的专用模型长得比通用聊天机器人快，在自己的地盘上常常打败更大的基础模型。
然后是伊利亚自己的开头：生在俄罗斯，长在以色列，少年时移民加拿大；父母说他很早就对 AI 感兴趣，但他自己给出的第一驱动力是意识——「它让我很不安」。17 岁那年他进多伦多大学，直接找到辛顿，几乎立刻开始一起工作。
他给了一个今天听起来刺耳的时间坐标：2003 年，我们理所当然地认为计算机不能学习。 当时 AI 的最高成就是深蓝——一个游戏、一棵搜索树、一个判断局面好坏的简单函数，「没有学习，而学习是一个巨大的谜」。
01:10 他的动机：做一点很小、但真实的贡献
克雷格问他，当年的冲动是不是跟辛顿一样，想搞懂大脑。伊利亚的回答更像一个研究者的自陈：AI 太大，动机也一样多。他想知道智能到底怎么工作；而当时「神经网络已经存在，但没人知道网络有什么用」。
他补了一句很狠的话：当时很多对 AI 的贡献并不真实，我能看出来它们不会有结果。所以他的目标定得很小——「为 AI 做一点非常小、但真实的贡献」。他当时的基本判断是：什么都不行，这是个没有希望的领域。
06:44 那次突破：不是网络变强了，是论证成立了
克雷格转述辛顿的说法：是伊利亚对卷积网络突破的兴奋，推动了他们去报 ImageNet；亚历克斯有把网络训起来的工程能力。
伊利亚把 AlexNet 的推理讲成了一句话就能复述的论证：
- 人脑能解这些任务，而且解得很快；
- 人脑不过是一张神经元很慢的神经网络；
- 所以，某一张神经网络一定能把这件事做得很好；
- 我们要做的，是拿一张更小、但同类的网络，用数据训练它——计算机里训出来的那张，就会和做这件事的那张网络相关。
再加上杰夫实验室给的第二件东西：我们手上有训练它的工具。把「网络能解」和「我们能训」合起来，剩下的条件只有两个——网要够大够深，数据要够大、能规定解法。ImageNet 上三样原料齐了：亚历克斯的快速卷积核、足够大的数据集、一次完全没有先例的机会。
他用的词是「必然会成功（you will succeed necessarily）」。
08:44 第二天就换掉 RNN
2017 年《Attention Is All You Need》出来，伊利亚说他论文出来第二天就清楚了：transformer 解决了循环神经网络学不长程依赖的问题。这是个技术判断，但动作是立刻的——整个 GPT 工作当天切过去，然后「换成 transformer 之后它开始跑得更好；你把它做大，然后我们意识到得继续做大」，一路到 GPT-3。
他顺手把「预测下一个词」和「无监督学习」接上了：GPT 之前，无监督学习是机器学习的圣杯，非常神秘；他们的希望是——把下一个词预测得足够好，就等于拿到了无监督学习。今天它被彻底解决，甚至没人再提。
关于里奇·萨顿的「苦涩教训」，他明确不认那句流行结论：
「人们拿走的结论是：你做什么不重要，只要扩展。但那并不完全对。你必须扩展某个具体的东西。」
他的版本是：深度学习最伟大的突破，是第一次提供了一种生产性地使用算力、并且换回东西的方法。在这之前，大型计算集群能干的只有天气模拟、物理模拟、也许还有电影——没有人真的需要一个集群。所以「值得扩展」这件事本身就是成就，而「扩展什么」始终重要。
13:46 「只是在学统计规律」这句话错在哪
克雷格的提问是一个很流行的版本：模型的目标是满足提示的统计一致性，它没有关于现实的底层理解；他让 ChatGPT 讲自己，奖项编了一串，「读起来全都漂亮极了，但没有一处连到底下的现实」。
伊利亚先拆了提问本身的两块前提。
第一，别拿今天的局限当永久属性。 「两年前人们也言之凿凿地谈它们的局限，而那些局限完全是另一回事。我们有多大把握，今天看到的这些局限两年后还在？我没有那么大把握。」
第二，「只学到统计规律」被低估了。 他的链条是：预测就是压缩；而要把数据预测好、压缩好，你必须理解产生数据的那个真实过程；模型越好，对那个过程的刻画越准。所以：
「当我们的生成模型变得极其好，我主张，它们会拥有一种惊人程度的理解——对这个世界以及它的许多细微之处。」
他随即给这句话加了一个限定，这个限定常被引用者省略：那是透过文本这面透镜看到的世界，是世界在文本空间上的投影，「但文本本身已经在表达世界」。
Sydney 那个例子用来支撑「心理学的语言开始适用」：用户说谷歌搜索比 Bing 好，Sydney 变得好斗。你可以说它只是在预测人会怎么反应——但也许，我们现在到了用心理学词汇描述这些网络行为的时点。
18:23 幻觉是输出问题，不是理解问题
伊利亚把两件事分得很干净：
- 预训练：目标是学遍世界，学到想法、概念、人物、过程的了不起的表征。它非常擅长这个。
- 基于人类反馈的强化学习（RLHF）：这一阶段才关心输出。「任何一次输出不合适，别再这样；每一次输出讲不通，别再这样。」它学得很快。
所以幻觉的成因不是它不懂，而是它的目标函数从来不是「输出为真」。修法也就直接：把这个后续步骤做好。他的原话是「有相当高的概率，这套方法能够彻底解决它」，并且给出方法论的姿态——「它真的学得会吗？我的回答是：我们试试看。」
克雷格追问那个反馈回路会不会来自公开界面（我告诉它我没拿过普利策）。伊利亚说：今天我们是雇人来教，但你说的那种方式，就是教学将来会有的样子——你交互，它从你的反应里推断「这不是你想要的」，然后下次改。他还加了一句：「一旦它知道幻觉是绝对不可以的，你就成了。」
22:06 多模态：有用，但不是必需
克雷格搬出扬·勒昆的 JEPA 与「缺一个非语言的世界模型」。伊利亚的回答分三层。
第一层，同意的部分。 多模态理解是可取的：你能更多地了解世界、了解人、了解人所处的境况，于是系统更懂任务、更懂人想要什么。他们做过 CLIP 和 DALL·E。
第二层，拒绝二选一。 「我不认为没有视觉事情就行不通。」有些东西从图像里学更快，但从文本里也能学到，只是更慢。他的证据是颜色的 embedding——纯文本训出来的网络，知道紫色更接近蓝而不是红，也知道紫色离红比橙色离红更远。「这些它全知道，而且只是从文本里知道的。」
第三层，对论文技术主张的具体反驳。 JEPA 那类提案说，预测带不确定性的高维向量是个大挑战、需要专门方法。伊利亚说这一点被忽略了：现在的自回归 transformer 已经具备这个性质。给你书里的一页，预测下一页——可能的下一页太多，高维、复杂，而我们处理得很好；iGPT 直接对像素建模；DALL·E 把像素聚成大像素再生成一千个；谷歌的 Parti 也是类似路子。
克雷格反问：把像素变成向量，不就是把一切变成语言吗？伊利亚把「语言」这个词拆掉：「你把它变成一段序列。」——什么组成的序列？ 「你可以说，哪怕对一个人来说，生活也是一串比特。」扩散模型不过是并行地产生这些比特，「概念上，我主张这个区别无所谓；它能给你十倍的效率提升，这在实践上巨大，但概念上不重要。」
还有一句常被忽略的：他认为预训练模型已经知道它需要知道的关于底层现实的一切——它学到的是「产生这些数据的真实世界过程」的压缩表征，包括人、人的想法与感受、人所处的境况、人与人之间的互动。所以他不同意「模型缺世界知识」的提法；缺的是输出层面的约束。至于那支训练师大军，他强调两点：大部分活是工具在干；但你需要人来做最后的审与纠，而这一步的效率一直在涨。
34:03 下一步：更可靠、更可控、更少数据
他不能细讲具体研究，但给了方向：让模型更可靠、更可控，从更少的数据与指令里学得更快，并且不产生幻觉——「这一簇问题是连在一起的」。
克雷格搬来辛顿的观察：大模型用不多的参数装下海量数据，人脑有万亿级参数、数据却少得多。伊利亚承认现在这套结构吃数据，尤其在训练早期；越到后期胃口越小。他相信「从更少数据里学更多」是可能的，需要创造性想法，而且一旦成立，就能把缺的技能教给它、把偏好更轻易地传给它。
算力那段他给了一个很「投资」的判断框架：问题不是成本大不大，而是付了这个成本换回来的东西值不值。「也许你付了所有成本什么也没得到，那当然不值；但如果换回来的东西能解决我们真的很想解决的很多问题，那这个成本就是合理的。」至于硬件，他说得很干脆：我们所有硬件都来自微软 Azure 提供的 GPU。
38:50 民主与「分析所有变量」
克雷格问：数据够多、模型够大，能不能算出一个让所有人都满意的解？
伊利亚先否掉了这个问题的形状：模型还会变得远比现在更有能力，训练与使用方式也会变；但政府怎么用这类技术当建议来源，无法预测。他愿意谈的是另一种可能——一种带宽非常高的民主：因为这些网络会无处不在、影响巨大，公民会希望直接向它提供信息，说明「我们希望事情是什么样、希望它怎么行为」；把这些信息聚合起来，比投票更细地规定系统该怎么行动。「这会打开一大堆问题。但那是将来可能发生的一件事。」
最后克雷格追问：要不要一个不只吸收语言的模型才能「分析所有变量」？伊利亚把这句话拆开：什么叫分析所有变量？最终你得选——哪些变量看起来真的重要，我想往深里走。人可以读一百本书，也可以非常慢地读一本、拿到更多。他认为「理解一切」大概在根本上不可能：任何复杂局面，哪怕一家中型公司，都已经超出任何单个人理解的范围。但如果系统建对了，AI 几乎在任何情境下都能帮上大忙。
口径分层
官方可查
- 伊利亚履历：1986 年生于下诺夫哥罗德、5 岁迁以色列、16 岁迁加拿大、17 岁进多伦多大学、2005／2007／2013 三个学位、导师辛顿、AlexNet 2012、DNNResearch 2013 入谷歌、2015 年底创办 OpenAI、2024 年 6 月创办 SSI1
- SSI 的自我描述：「一个目标、一个产品：安全的超级智能」2
- 本期是重发：官方主视觉标 LOOK BACK，节目说明写明录于董事会风波之前3
- 章节与时长：官方九段 00:00 / 01:10 / 06:44 / 08:44 / 13:46 / 18:23 / 22:06 / 34:03 / 38:50；视频 43:394
两个数字有出入
- SSI 估值：节目片头说 320 亿美元；维基百科条目写「一年内超过 300 亿美元」；2025 年 4 月那轮 20 亿美元融资的公开报道多用 320 亿美元。本刊按节目口径写 320 亿美元，并注明区间。
- 时长：视频版 43:39，音频版实测 41:45（2504.9 秒）。卡面与标题统一用音频时长，正文按视频章节。
只有节目里说过、本刊未能独立核到的
- Claude Mythos 被限制在「一小批审核过的伙伴」这一具体范围、以及「垂直模型长得比通用聊天机器人快」的说法，均来自本期片头叙述。
- 2023 年那次录音的准确日期，节目没有给出；本刊据对话内证（2003 年「差不多正好二十年前」、把 Parti 称作「今年早些时候」）定为 2023 年。
逐句全文翻译
下面是整集的逐句中文译文。只保留中文，保留「旁白／克雷格／伊利亚／广告」四个标签，按官方九段章节切成九节，不压缩、不摘要、不删减。片头的本期导语与中插的赞助口播照原样译出。
00:00 伊利亚·苏茨克维与 AI 的未来
旁白：这段对话录制的时候，伊利亚还是 OpenAI 的首席科学家——在董事会风波之前，在那场风波短暂地把萨姆·奥尔特曼赶下台、并最终导致伊利亚在 2024 年离开之前。此后他创办了 Safe Superintelligence Inc.，一家新实验室，围绕一个想法建立：安全必须成为先进 AI 的组织原则。一个使命，没有产品，估值此后涨到 320 亿美元。研究前沿的移动同样快。Anthropic 的 Claude Mythos 在计算机安全上强到被挡在公开发布之外，只提供给一小批经过审核的伙伴。更广泛地说，进展越来越垂直：网络安全、法律、健康、媒体这些领域的专用模型，比通用聊天机器人长得更快，而且常常在自己的地盘上打败更大的基础模型。把这些当作背景，下面是我们的对话。
伊利亚：我出生在俄罗斯，在以色列长大，然后十几岁的时候，全家移民到加拿大。我父母说，我很早就对 AI 感兴趣。我也被「意识」强烈驱动——它让我很不安，我好奇有什么东西能帮我更好地理解它，而 AI 看起来是个很好的角度。所以我想，这些是让我起步的一些原因。我其实很早就开始和杰夫·辛顿一起工作，17 岁那年，因为我们搬到了加拿大，我立刻就进了多伦多大学。我特别想做机器学习，因为它看起来是人工智能里最重要的部分，而当时它完全不可及。给点背景：那是 2003 年。今天我们理所当然地认为计算机能学习，但在 2003 年，我们理所当然地认为计算机不能学习。
伊利亚：当时 AI 最大的成就是深蓝，那台国际象棋引擎。但那里是：你有一个游戏，你有一棵搜索树，你有一种简单的方法判断一个局面是否比另一个好。它真的不像是能用到真实世界里的东西，因为没有学习，而学习是一个巨大的谜。所以我非常非常想搞懂学习。很幸运，杰夫·辛顿就在我所在大学的教授里，所以我找到了他，我们几乎立刻就开始一起工作。
广告：这个世界正变得越来越复杂。你的团队每部署一个新的云工作负载或 AI 智能体，就又多了一个身份永久地进入你的关键系统。你知道吗，去年十家组织里有九家遭遇过身份泄露，因为对手是拿着有效凭证登进来的，不是破门而入。非人类身份的数量是人类的 109 倍，在云环境里造出一大片无人管理的攻击面。旧的工具是为管理人类员工造的，于是机器和 AI 的访问权基本处在无人看管的状态。这正是 Palo Alto Networks 的 Adira 出场的地方：人、机器、AI，一个身份平台全部管住。96% 的人类用户带着他们其实并不需要的过量权限在操作。Adira 用动态访问取代永久权限，让你在锁死每一个身份的同时不拖慢业务。Adira 按需授予访问权，事情做完立刻收回，高风险永久权限也就消失了。用 Adira，你把彼此割裂的身份与访问管理、特权访问管理和治理工具，换成一个横跨人、机器、AI 身份的统一控制面。用 Palo Alto Networks 的 Adira 守住组织里的每一个身份。
01:10 早期兴趣与杰夫·辛顿
克雷格：你当初的冲动，跟杰夫一样，是想搞懂大脑怎么工作吗？还是说，你只是对「机器能够学习」这个念头本身感兴趣？
伊利亚：AI 太大了，动机也一样多。它有意思的地方是：智能到底是怎么工作的？现在我们多少知道一点——它是一张很大的神经网络，我们大致知道它怎么运转。但在当年，虽然神经网络已经存在，没有人知道网络有什么用。所以问题是：智能究竟怎么工作？我们怎么才能让计算机哪怕稍微聪明一点？而且我有一个非常明确的意图：为 AI 做一点非常小、但真实的贡献。因为当时有很多对 AI 的贡献并不真实——我能从各种迹象看出来它们不真实，不会有什么结果——我当时的想法是，什么都不行，AI 是个没有希望的领域。所以动机是两件事：我能不能理解智能是怎么工作的，以及我能不能朝它推一把。这就是我最初的动机。
06:44 深度学习背后的那次突破
克雷格：那是 2003 年，差不多正好二十年前。后来是亚历克斯——我跟杰夫聊过，他说，真正让你去报名 ImageNet 竞赛的，是你对卷积神经网络那些突破的兴奋；而亚历克斯有把网络训练起来的编程能力。能稍微讲讲这件事吗？我不想陷进历史里，但这段太有意思了。
伊利亚：一句话说，我当时的领悟是：如果你把一个又大又深的神经网络，训练在一个足够大的数据集上，而这个数据集规定的是人们会做的某个复杂任务——比如视觉，也可以是别的——那你就必然会成功。这个推理非常不可再简化：我们知道人脑能解这些任务，而且解得很快；而人脑不过是一张神经元很慢的神经网络。所以我们就知道，某张神经网络能把这件事做得很好。那我们要做的只是拿一张更小、但相关的那类网络，用数据训练它，计算机里那张最好的网络就会和做这件事的那张网络相关。所以论点是：这样的网络能解这个任务；而且更进一步，我们手上有训练它的工具——那是杰夫实验室做出来的技术成果。两件事合起来：我们能训练这些网络，它得足够大，大到训练起来就能奏效；而你需要能规定解法的数据。ImageNet 上，所有原料都在了。亚历克斯有非常快的卷积核，ImageNet 有足够大的数据，真的有机会做一件完全没有先例的事——而它完全成功了。
08:44 GPT 与 transformer 是怎么开始的
克雷格：2017 年，《Attention Is All You Need》那篇论文出来了，带来了自注意力和 transformer。GPT 这个项目是在哪个时点开始的？当时对 transformer 有什么直觉吗？还有自监督学习，能聊聊吗？
伊利亚：给点背景：在 OpenAI 最早的日子里，我们就在探索一个想法——预测下一个东西，就是你所需要的一切。我们用当时受限得多的神经网络去探索它。但那个希望是：如果你有一张能预测下一个词、下一个像素的网络——说到底这是关于压缩。预测就是压缩。而预测下一个词并不是……让我想想怎么解释最好，因为当时有很多事情同时在发生，它们都是相关的。也许我换个方向讲。我们确实很有兴趣搞清楚：预测下一个词这件事能走多远，它能不能解决无监督学习。在 GPT 之前，无监督学习被认为是机器学习的圣杯。现在它被彻底解决了，甚至没人再提它，但它当时是圣杯，非常神秘。所以我们在探索这个想法。我特别兴奋：把下一个词预测得足够好，就等于拿到了无监督学习。如果它把数据集里的一切都学会了，那就太好了——但我们的神经网络撑不起这个任务。我们当时用的是循环神经网络。
伊利亚：transformer 出来的时候，真的就是论文一出来、第二天，我和我们都清楚了：transformer 解决了循环神经网络在学习长期依赖上的局限。这是个技术细节，但当时我们立刻就切到了 transformer。于是那个还很稚嫩的 GPT 工作继续了下去，换成 transformer 之后它开始跑得更好；你把它做大，然后我们意识到得继续做大，我们也就这么做了，那最终带到了 GPT-3，基本上就是今天的位置。
克雷格：我特别想问一个问题——我有点被这段历史带跑了，但我太感兴趣了。我想聊到大语言模型的问题和短板。不过里奇·萨顿一直在写「扩展」这件事，说我们要做的只有扩展，不需要新算法，只需要扩展。他对你有影响吗？还是说那是两条平行的思路？
伊利亚：没有。我会说，他那篇文章发出来的时候，我们很高兴看到外面也有人沿着相似的路线在想，而且表达得非常漂亮。但我其实认为，「苦涩教训」——按我理解的表述——把它的主张说过头了；至少人们从里面拿走的那句结论说过头了。人们拿走的结论是：你做什么不重要，只要扩展。但那并不完全对。你必须扩展某个具体的东西。你手上得有一个能从规模里受益的东西。深度学习最伟大的突破，是它第一次提供了一种生产性地使用算力、并且换回东西的方法。在这之前，人们拿大型计算集群干什么？大概是天气模拟、物理模拟，也许还有做电影。但没有人真的需要计算集群，因为你要拿它做什么呢？深度神经网络——你把它做大、喂更多数据，它就更好——这件事，给了我们第一个值得去扩展的东西。也许有一天我们会发现，我们所扩展的那个东西上还有一个小小的转折，会让它更值得扩展。至于这个转折有多大……事后回看你会说，这算什么呢，改动这么简单。但我认为真实的表述是：扩展什么，很重要。眼下我们只是刚好找到了一个能换回东西的东西。
13:46 大语言模型的局限
克雷格：大语言模型现在的局限，是它们的知识被装在训练它们的语言里，而人类知识的大部分——我想大家都同意——是非语言的。我不确定诺姆·乔姆斯基会同意这一点。但按我的理解，大语言模型有个问题：它们的目标是满足提示在统计上的一致性，它们并没有一个关于现实的底层理解，而语言是连着那个现实的。我问过 ChatGPT 关于我自己的事：它认得出我是记者，知道我供职过这些报纸，然后它接着讲了很久我从来没得过的奖。读起来全都漂亮极了，但没有一处连到底下的现实。你的研究里，有什么正在解决这件事吗？
伊利亚：在回答你最后那个问题之前，我想先说说前面那几部分。
伊利亚：我认为，谈论哪怕只是一个语言模型的局限，都非常难。因为两年前，人们也言之凿凿地谈它们的局限，而那些局限完全是另一回事。所以这个背景很重要：我们有多大把握，今天看到的这些局限，两年后还在？我没有那么大把握。
伊利亚：关于问题里的另一部分，我还有一句要说——就是「这些模型只是学到了统计规律，因此它们并不真的知道世界的本性」。我的看法不一样。换句话说，我认为学到统计规律这件事，比看上去要重大得多。我们一开始不这么想，是因为——至少大多数人，那些没真正在神经网络上花过很多时间的人——会觉得统计模型嘛，就是拟合一些参数，到底在发生什么？但我认为对前面那个说法有一个更好的解释：预测就是压缩。预测本身也是一个统计现象，可是要做出预测，你最终必须理解产生数据的那个真实过程。要把数据预测好、把它压缩好，你就必须越来越多地理解产生这些数据的那个世界。当我们的生成模型变得极其好，我主张，它们会拥有一种惊人程度的理解——对这个世界以及它的许多细微之处，一种惊人程度的理解。
伊利亚：但它不只是世界，它是透过文本这面透镜看到的世界。它试图通过「把世界投影到文本空间」来越来越多地认识世界，而这个投影是由互联网上的人做出来的。不过，文本本身已经在表达世界了。我给你一个例子，最近的一个，我觉得特别说明问题、也特别有意思。我们都听说过 Sydney，Bing 的那个另一个人格。我看过一段很有意思的交互：用户告诉它，自己觉得谷歌是比 Bing 更好的搜索引擎，然后 Sydney 就变得好斗、有攻击性。我们该怎么理解这个现象？用什么语言来描述它才是好的？你可以说，它只是在预测人会怎么做，而人也确实会这么做——这是真的。但也许我们现在到了一个点：心理学的语言，开始适合用来理解这些神经网络的行为了。
18:23 AI 幻觉与人类反馈
伊利亚：现在说局限。这些神经网络确实有幻觉的倾向。但那是因为：语言模型非常擅长学习这个世界，但在产出好输出上，稍微没那么擅长。这里有各种技术原因，如果你觉得有用我可以展开，但这一刻我先跳过。有技术上的原因让语言模型在「学习世界、学到关于想法、概念、人物、真实存在的过程的惊人表征」上强得多，而它的输出却没有大家期望的那么好——或者说，没有它本可以达到的那么好。这就是为什么像 ChatGPT 这样的系统，它是在语言模型之上，又加了一个强化学习的训练过程。我们把它叫做「基于人类反馈的强化学习」。这个过程要理解的地方在这里：
伊利亚：预训练阶段，你只是想学遍这个世界的一切。然后到了基于人类反馈的强化学习，我们现在关心的是输出。我们说：任何一次输出不合适，别再这样。每一次输出讲不通，别再这样。它学得很快，学会产出好的输出。但这时起作用的是输出的水平——而预训练、也就是语言模型训练的过程，不是这样的。
伊利亚：说到幻觉，它确实会编。现在这些神经网络，哪怕 ChatGPT，时不时也会编东西出来，这极大地限制了它们的用处。但我相当有希望：只要把后面那一步基于人类反馈的强化学习做好，我们就能教会它不产生幻觉。你会说，它真的学得会吗？我的回答是：我们试试看。
克雷格：而那个反馈回路，是来自公开的 ChatGPT 界面的：如果它告诉我我拿了普利策奖——很不幸，我没有——我可以告诉它这是错的。这会训练它吗？会形成某种惩罚或奖励，让下次我问的时候它更准确吗？
伊利亚：今天我们的做法是雇人来教我们的神经网络该怎么表现，而现在他们规定期望行为的具体方式有点不一样。但你说的，基本上就是教学将来会有的样子。那才是正确的教法：你就是和它交互，它从你的反应里看出来，推断出——哦，这不是你想要的，你对这个输出不满意，所以这个输出不好，下次它该做点不一样的。所以特别是幻觉，它冒出来成为比较大的问题之一，我们拭目以待。但我认为，有相当高的概率，这套方法能够彻底解决它。
22:06 多模态与「理解世界」
克雷格：我想跟你聊聊扬·勒昆在做的联合嵌入预测架构，以及他的一个想法：大语言模型缺的是一个底层的世界模型——一个非语言的、语言模型可以去参照的世界模型，而那个东西并没有被建起来。我想听听你怎么看，以及你有没有探索过这件事。
伊利亚：我看过那份概念提案。里面有不少想法，是用不同的语言表达的，和现在的范式之间也许有些小差别，但在我看来它们并不重大。我想展开说。第一个主张是：一个系统拥有多模态理解是可取的——它不只从文本里认识世界。我的评论是：多模态理解确实可取，因为你能更多地了解世界，更多地了解人，更多地了解人所处的境况；于是系统能更好地理解它要解决的任务、以及人、以及人想要什么。我们在这上面做过相当多工作，最著名的是两个大型神经网络，一个叫 CLIP，一个叫 DALL·E，两个都在朝多模态的方向走。
伊利亚：但我也想说明：我不认为这件事是非此即彼的，不认为如果没有视觉、如果不从图像或视频里去理解世界，事情就行不通。我想为这个论点辩护一下。我认为有些东西从图像、图示里学起来容易得多，但我主张，你仍然可以只从文本里学到它们，只是更慢。我举个例子，想一想「颜色」这个概念。你肯定会说，人不可能只从文本里学到颜色。可是当你去看 embedding——这里要稍微绕一下解释什么是 embedding——每一个神经网络都通过表征、通过 embedding、通过高维向量来表示词、句子、概念。我们能做的一件事，就是去看那些高维向量，去看什么和什么相似，去看网络是怎么看这个概念或那个概念的。那么去看颜色的 embedding，颜色的 embedding 恰好是对的：它知道紫色更接近蓝而不是红，它知道紫色离红的距离比橙色离红的距离更远。这些它全知道，而且只是从文本里知道的。这怎么可能？
伊利亚：如果你有视觉，颜色之间的区别是扑到你脸上的，你立刻就感知到。而在只有文本的情况下，你需要更久：也许你先学会说话，已经懂了句法、词和语法，很久之后你才说——哦，这些颜色，现在我好像开始懂它们了。所以这就是我对「多模态是否必要」的看法：我主张它不必要，但它毫无疑问有用。我认为那是值得追求的方向。我只是不认为它是那样非黑即白的二选一。
伊利亚：那份提案里还提出：一大挑战是预测带有不确定性的高维向量。比如预测一张图像——论文在这一点上主张很强，说这是个大挑战，需要用某种特定的方法去解决。但有一件让我觉得意外、至少论文没有承认的事是：现在的自回归 transformer 已经具备这个性质。我举两个例子。第一个：给你书里的一页，预测这本书的下一页。接下来可能是的页数太多了，那是一个极其复杂的高维空间，而我们处理得很好。图像也一样。这些自回归 transformer 在图像上跑得非常好。比如在 OpenAI，我们做过 iGPT：我们就是把一个 transformer 直接用在像素上，效果特别好，它能用非常复杂、非常微妙的方式生成图像，还得到了非常漂亮的无监督表征学习。DALL·E 是同一件事：你把它想成大像素，不是生成一百万个小像素，而是把像素聚成大的像素，生成一千个大像素。我相信谷歌今年早些时候那个叫 Parti 的图像生成工作，也用了类似的做法。所以论文里那句「现有方法处理不了高维分布预测」的强主张，我认为它们显然可以。
克雷格：那你说的把像素变成向量，本质上就是把一切都变成语言。向量就像一串文本，对吧？
伊利亚：那得看你怎么定义语言。你是把它变成一段序列。
克雷格：什么组成的序列？
伊利亚：你可以说，哪怕对一个人来说，生活也是一串比特。现在人们用的另一些东西，比如扩散模型，它们不是一次产出一个比特，而是并行地产生这些比特。但我会主张，在某个层面上，这个区别是无所谓的。它在「你能拿到十倍的效率提升」这个意义上是有所谓的——这在实践上巨大——但概念上，我主张它无所谓。
克雷格：关于那支训练师大军——一大批人在 ChatGPT 或者大语言模型上工作，用强化学习去引导它。直觉上，这不像是一种教模型理解它语言背后真实世界的高效方式。有没有办法把这个自动化？对扬来说，我理解他讲的就是这个：找出一种算法手段，在没有人介入的情况下，教模型那个底层的现实。
伊利亚：关于这一点我有两句要说。第一，我对这个问题有不同看法，我不同意它的提法。
伊利亚：我主张，我们预训练出来的模型，已经知道了它需要知道的关于底层现实的一切。它们已经拥有语言的知识，也拥有大量关于这个世界上产生这些语言的那些过程的知识。这一点也许我该再强调一次——这是个小小的题外话，但我觉得它太重要了。大型生成模型从数据里学到的、在这里是大语言模型从文本数据里学到的，是「产生这些数据的真实世界过程」的某种压缩表征。这意味着它不只是关于人、关于人的一些想法和一些感受，还关于人所处的境况、人与人之间存在的互动、一个人可能处在的种种处境。所有这些都是那个压缩过程的一部分，由神经网络表征出来，用来生成文本。语言模型越好，生成模型越好，保真度越高，它对这一过程的刻画就越准确。所以这是我第一句评论：模型已经拥有了那些知识。
伊利亚：至于你说的那支训练师大军——确实，当你想造一个表现得尽可能好的系统时，你就说：行，这个做得对，那就多来点。但当然，这些训练师也在用 AI 辅助。他们不是一个人在干，他们和我们的工具一起工作，他们非常高效——大部分活是工具在干。但你确实需要监督，需要有人去审这些行为，因为你最终要的是非常高的可靠性。总的来说，在拿到一个训练好的预训练模型、然后在它上面做强化学习这第二步上，确实有很强的动机把它做得尽可能高效、尽可能精确，好让最终的语言模型尽可能规矩。这些人类训练师也在用 AI 辅助，而且他们使用 AI 辅助的程度一直在提高，所以他们自己的效率一直在涨。这也许算是回答这个问题的一种方式。
克雷格：所以你说的是，通过这个过程，模型最终会变得越来越有分辨力、输出越来越准。
伊利亚：是的，是这样。这里有个类比：它已经知道各种各样的事，而你现在只是想真的告诉它——不，这不是我们要的，不要在这里这么做，你在这个输出上犯了个错。而且正如你说的，尽可能让 AI 在回路里，好让那些给系统做最后纠偏的训练师，他们的工作被放大、效率尽可能高。这跟一个教育过程没什么不同：怎么在世界上行为得体。我们需要额外地训练，好让模型知道幻觉是绝对不可以的；一旦它知道了，你就成了。
克雷格：我明白了。所以就是那个强化学习加人类训练师的回路，会教会它。
伊利亚：人类训练师的回路，或者别的变体。但这里确实有一个可以论证的地方：某样东西应该会奏效，而且我们很快就会知道。
34:03 AI 研究的下一步
克雷格：这是问题之一。接下来往哪走？你现在专注的研究是什么？
伊利亚：我不能细讲我正在做的具体研究，但可以提一点，可以讲讲大方向。大概是这样：我非常有兴趣让这些模型更可靠、更可控，让它们从更少的数据、更少的指令里学得更快，让它们确实不产生幻觉。我提到的这一簇问题，它们都是连在一起的。这里还有一个问题：我们说的时间尺度有多远？我在这里谈的，也许是更近的将来。
克雷格：你谈到大脑和神经网络之间的相似性。杰夫·辛顿跟我说过一个很有意思的观察——我相信这对别人来说也不新——大模型、尤其是大语言模型，用数量不算多的参数，装下了海量的数据；而人脑有数以万亿计的参数，数据量却相对很少。你有从这个角度想过吗？能不能讲讲，大模型要拥有更多参数来处理数据，还缺什么？这是硬件问题，还是训练问题？
伊利亚：你刚才这个说法，和我前面提到的「从更少数据里学习」是同一件事。确实，现在这套技术的结构要吃很多数据，尤其是在训练早期。到了训练后期，它对数据的胃口就小一些了，这也是为什么到最后它学得——还不如人快，但能学得相当快。所以某种意义上，我们真的在意「要走到这一步需要这么多数据」吗？但更一般地说，我认为从更少的数据里学到更多是可能的。我认为这需要一些有创造性的想法，但它是可能的。而且我认为，从更少数据里学得更多，会解锁很多不同的可能性。它会让我们能把 AI 缺的技能教给它，把我们想要什么、偏好什么，更轻易地传达给它，让它准确地按我们想要的方式行事。所以我会说，更快的学习确实很好；虽然在语言模型训练完之后，它们已经能学得相当快，我认为这上面还有空间。
克雷格：我听你说过一个说法：要再继续扩展，我们需要更快的处理器。看起来模型的扩展看不到尽头，但训练这些模型所需要的电力，我们正在接近极限——至少是社会能接受的那个极限。
伊利亚：我先说一句：我不记得我当时那个说法的原文了。但你总是想要更快的处理器，当然也总是想要更多；电力总体上是往上走的，成本也在往上走。我要问的问题不是成本大不大，而是我们付出这个成本换回来的东西，值不值这个成本。也许你付了所有这些成本，什么也没得到——那当然不值。但如果你换回来的东西非常有用、非常有价值，能解决我们真的很想解决的很多问题，那这个成本就是合理的。至于处理器，更快的处理器，当然，任何时候都要。
克雷格：你在硬件这件事上有参与吗？比如你跟 Cerebras 合作，那种晶圆级芯片？
伊利亚：没有，我们所有的硬件都来自微软 Azure 提供的 GPU。
38:50 AI 对民主的影响
克雷格：我记得你曾谈到民主，以及 AI 可能对民主产生的影响。有人跟我说过：如果你有足够多的数据和足够大的模型，你可以拿数据去训练模型，它能给出一个让所有人都满意的、最优的解法。你对这件事有期待吗？或者你怎么想它可能走到哪里，去帮人类管理社会？
伊利亚：这是个大问题，因为它是更面向未来的问题。我认为我们的模型在很多方面还会变得远比现在更有能力，这毫无疑问。特别是我们训练它们、使用它们的方式，会有一些变化。今天这些变化也许不是一眼能看见，但事后回看会极其明显。那会让它有能力给出这类问题的解法。各国政府会如何使用这项技术、把它当作各种建议的来源，这一点无法预测。
伊利亚：关于民主这个问题，我认为将来可能发生的一件事是：因为你有了这些神经网络，而它们会如此普遍、对社会影响如此之大，我们会发现，某种民主过程是可取的——一个国家的公民向神经网络提供一些信息，告诉它我们希望事情是什么样，希望它怎么行为。我能想象这件事发生。那可能是一种带宽非常高的民主形式：你从每个公民那里拿到多得多的信息，把它们聚合起来，具体规定我们希望这样的系统怎么行动。这会打开一大堆问题。但那是将来可能发生的一件事。
克雷格：在你举的民主这个例子里，我能看到个人会有机会输入数据。但这又回到世界模型那个问题上了。你认为 AI 系统最终会大到能够理解一个情境、分析所有变量吗？不过我会想，你需要一个不只吸收语言的模型。
伊利亚：「分析所有变量」是什么意思呢？最终你会遇到一个必须做的选择：你说，这些变量看起来真的很重要，我想往深里走。因为一个人能读一本书——我可以读一百本书，也可以非常慢、非常仔细地读一本书，从里面得到更多。所以这里也会有这样的成分。我认为，在某种意义上，理解一切大概在根本上是不可的。任何时候社会上出现任何一种复杂局面，哪怕在一家公司里、一家中型公司里，它已经超出任何单个人理解的范围。而我认为，如果我们把 AI 系统建对，AI 几乎在任何情境下都能帮上极大的忙。
克雷格：这期就到这里。我要谢谢伊利亚抽出时间，也要谢谢埃莉·乔治帮忙安排了这次采访。如果你想读这次对话的文字稿，可以在我们的网站上找到，网址是 eyeonai。我们很愿意听到听众的声音，欢迎给我写邮件，克雷格，地址在 eyeonai，邮件很多，所以请在标题里写上「听众」，免得我漏掉。我们在 170 个国家和地区有听众。所以请记住：奇点也许并不近，但 AI 正在改变你的世界——请留意。
References
- 1Wikipedia · Ilya Sutskever
en.wikipedia.org
- 2SSI 官网
ssi.inc
- 3Eye on A.I. 单集页
aneyeonai.libsyn.com
- 4官方视频
youtube.com
Comments