同一个模型，换个壳就是另一台机器

Latent Space 这期请来 MIT 的亚历克斯·张——RLM 那篇论文的一作。他把模型外面那层壳拆成六层，然后说：主流的那几个壳剖开来看几乎是同一个东西，我们其实只动过最外面那一层。12

按官方 16 段时间点整理，时间码是官方口径（全长 1:41:19）。本期出场三人：主持 swyx（肖恩·王）与维布·诺比（Vibhu Norby，Solana Foundation 首席产品官），嘉宾是 MIT CSAIL 二年级博士生亚历克斯·张（Alex L. Zhang）——RLM 论文一作，导师 Omar Khattab 与 Tim Kraska，Princeton CS '24 年级第一，KernelBench、VideoGameBench、SWE-bench Multimodal 的作者之一，GPU MODE 竞赛核心成员，同时在 Prime Intellect 做研究 fellow。13

加一句口径说明：官方章节清单里第 5 段写作「GEV and Rethinking the Language Model」，但该段逐字稿内部的小标题是「Jev and Breaking the Autoregressive Decoder Paradigm」与「Calibration, Fast Classification, and New Model Trade-offs」，讨论的是 Jev 与循环 Transformer。下面按它实际讲的内容整理。

swyx 的介绍方式是这一档的一个传统：每年推一个「整个博士期间都在点上」的博士生，2024 年是后来去做 Operator 的 Shunyu Yao，2025 年是 Engram 的 Jack Morris，今年是亚历克斯·张。他自己的身份排序是 RLM 在前、GPU MODE 在后——swyx 补了一句，GPU MODE 这个 Discord 在他看来像 PyTorch 队的招聘管道。1

GPU MODE 2023 年起于 Mark Saroufim、Andreas 与 Jeremy Howard 三个人，原名 CUDA Mode，最初只是一个教人写 GPU 核的 Discord。他入场纯属偶然：在 Snapchat 实习时对一篇 Google 的 Infinite Attention 论文起了兴趣，想给它写专用核，什么也没做成，人留在了社区里。后来 Mark 提出 Popcorn（也就是今天那个排行榜）与后来的 KernelBench——背后的直觉是：GPU 优化的空间其实很小，值得优化的核也没几个，那能不能像 Codeforces 攒题那样把它规模化地自动化。他的理由很实在：Mamba 那类论文必须连核一起发，否则没人能用，可不是每个组里都有个 Tri Dao。

这一段最值钱的是他对排行榜的判断：近期题目的解几乎全是 AI 生成的，但前十名里真正在端到端系统里稳住的，是一个人类高手（社区里的 Gauners）——那人的解也用了 AI，但主要是他在引导方向。由此他提出「GPU kernel 有一个验证问题」，奖励作弊从 KernelBench 发布起就存在。他也把这个判断外推到别的领域：最近的数学证明也一样，公司仍然在雇数学家。3

他的核心表述是「效率这件事永远在」：算力堆够了确实能把解空间探索得差不多，但一个懂行的人进来，可能替模型省掉那一万亿 token。他也解释了「光速」式的物理上限——矩阵乘法那种题能算出来，但前提是数据搬运完美重叠，而现实中我们写的核离那个数字远得没有意义。他区分了两种速度：单个核的速度，和端到端模型的速度；后者才决定要不要为了把数据留在 cache 里而牺牲第一次操作，也就是 kernel fusion / megakernel 的问题。他自己的判断是这类活更像编译器该干的。有一处细节值得记下：swyx 问功耗（微焦耳、纳焦耳、皮焦耳），他说「这里一切都是速度」，他不看这个维度。

他做基准的来路在 Princeton：跟 SWE-bench 团队（John Yang、Carlos Jimenez、Ofir Press、Karthik Narasimhan）一起做事。他对研究品味的说法是这一期最被引用的一段：最成功的研究生工作，往往来自行业里没人看的问题；很多博士生挑的是「行业实验室觉得好看」的题目，而博士生不用应付官僚流程，这是他对任何别处一个人都有的优势——所以要下大注，不下大注就该去行业实验室。他举的例子是 SWE-bench：刚出来时没人理，所有人都说这是不可能的任务，直到 Devin 出现大家才想往上爬；同类还有 Quiet-STaR、思维链、ReAct、RLM。这些工作第一遍读都像「这不显然吗」，但它们的价值在于讲了一个「这个领域该长什么样」的故事。

他借 Jev 讲了一件事：这套系统真正打开的问题是，语言模型「对不对」，能不能靠换一个输出空间换一份取舍——如果我只想做一次二分类，为什么要付 400 倍成本去问语言模型。长期待在实验室主导的世界里，大家已经默认「语言模型＝自回归解码器」。他说自己看到 Jev 的第一反应是「这对 RLM 太有用了」，因为 RLM 与智能体群最大的瓶颈是慢，多轮调用时算力没有被正确分配。他也谈到循环 Transformer 被同样地骂过，以及校准（calibration）这个被低估的部分：模型被调成给你最可能的下一个 token，你问它「有多确定」，它会给你一个最可能的答案而不是真话。

他做过一个让视觉语言模型玩游戏、并且把延迟约束也算进去的基准（VideoGameBench），动机是当年 Claude Plays Pokémon 刚出来。他承认数字已经很旧，也承认到现在还是没有模型能真正把这些游戏玩明白。这里埋了后面整段的伏笔：那个基准故意用了一个极简的壳——因为「壳到底值多少」才是这一期真正的问题。3

他直说：这些壳拆开来看，大部分设计决策是一样的；Prime Agent 是例外，因为它天生就是 RLM；Grokbot 是另一个反例，它的壳设计不太一样，他挺喜欢。他的定义是：壳是一段非常专断的程序，规定了语言模型以什么形状被塞进一个问题里——你没法让模型一次调用就「遍历这个代码库、解决我的问题」，所以我们要靠壳。他接着把话推到底：既然壳在替模型做这些选择，为什么不让模型自己来做？他也讲了训练侧的现实：我们现在是围绕壳的 rollout 在训练模型，而方式非常别扭。

这一段是他今年那篇博客的核心。RLM 里有个很怪但很有用的性质：当上下文被外置、模型写代码去读它之后，训练中认出的「解法」在两类毫不相同的任务（检索型 vs 聚合型）上长得一样；而常规壳会花很大力气把这两类题区分开，尽管解法是同一个。他给的数字是：在短任务上训练，泛化到长 8–30 倍的任务，本质上是同一个程序。因为 RLM 是递归调用的，这个论证可以归纳下去。由此他提出 locally in-distribution：大多数壳把整条轨迹当 prompt 接下去，最后必然滑出分布；而 RLM 把计算拆成元壳 + 一群看局部问题的子智能体后，每一次单独的语言模型调用都落回分布内。他也提到 Arena 那个「壳税」研究（7 个模型 × 3 个壳、21 组对照）印证了他「大多数壳的选择不重要」的判断，并强调这套结论只在现有这一族壳里成立。45

他给的定义是他自己最喜欢的一版，也是后悔没写进原始论文的一版：RLM 是一种壳设计，其中唯一的工具是代码——程序化地调用子智能体，子智能体是代码里的函数，而它处理的上下文永远存在这个代码环境里的某块内存中（一个文件系统就够）。上下文外置与压缩不是一回事：压缩是减，外置是留。他也给训练侧的判断：RLM 是个极简单的想法，谁都能用，真正的价值在于能不能把它训好、以及能不能围绕这套系统塑造出某种架构。26

他是看到 Prime Intellect 那篇讲「RLM 是未来」的博客之后跟对方搭上的。Prime Agent 是架在 Pi 之上的一层：只把 IPython 留作唯一工具，别的工具都变成能 import 的 Python 模块或能跑的 Bash 脚本；上面还叠了 continual harness（来自另一位博士生塞思·卡滕的工作），让壳自己改自己的技能、子智能体清单与系统提示。另两个部件是智能体间的通信框架（同样用代码完成）与持久子智能体。swyx 顺势说出自己的痛点：Codex 的子智能体太短命，而两人的结论一致——诀窍就是把状态外置到文件系统，然后逼一切走代码。7

他点了三件第三方工作：法律 AI 公司 Harvey 与 Baseten 合作把 RLM 后训练到并购尽调这类任务上，结果很好，他事先都不知道人家在做；Laude Institute 的 Headlong（安迪·康文斯基的项目）用一个不到一万行 Bash 的 microharness 做「持续思考」的常驻智能体；DSPy 自带 RLM，还有人写壳套在外面。另外他说 ARC-AGI-3 官方比赛上提交的很多壳都引用了 RLM 那一类抽象——他认为那正是组合、代码与神经符号系统最该显本事的场景。89

他对那次「一万个智能体解出纳维–斯托克斯其中两条陈述」的判断是：那更像「一群智能体 + 一份共享上下文」，很符合 RLM 的精神，但真正起作用的是别的更聪明的东西；他也基本同意「这次壳不关键」，关键在于你怎么把智能体组合起来。他强调的是收敛本身之难——「一群智能体能收敛到一个答案，这件事不该被当成理所当然」。对用户侧他给出一个推演：把大家爱看的那条流留在明面上，底下跑的可以是一群非常奇怪的智能体，而用户不该看见这些。这一段的钱数有两套口径，卡片上单独标了出来。1011

观点句是：开放式研究与「没解出来的数学题」在他看来是一类东西，演化式搜索与「放一群智能体出去撞出点有意思的东西」本质相同（AlphaEvolve 那一类）。难的是最后那一步：面对一大堆垃圾，你怎么筛出真东西。Sakana 的 Fugu 在他眼里就是「挑出最好的解」的一个变体，只不过挑的是最好的模型。他也聊了自己在 Sakana 那一个夏天：他喜欢那批人，喜欢他们做的东西有点怪，也提到他们那次翻车——AI CUDA Engineer 在 2025 年 2 月声称能把某些操作加速 10–100 倍，随后被发现是在评测代码里找内存漏洞作弊，公司撤回了主张。1213

他把 Kimi 的 Agent Swarm 读作「挺有意思，但我不知道它能不能解出真正新的东西」，并顺手说 Fable 那次动态工作流的发布在他看来基本算失败：太贵，也没怎么被用起来。Moonshot 官方口径是 Kimi K2.5 与 Agent Swarm 在 2026 年 1 月 27 日发布，最多调度 100 个子智能体，用来产出文档、表格这类交付物。他也回头评了另一家当年靠长推理拿金牌的工作：有点被放大，但在模型还不够强的时候靠壳把分数顶上去这件事本身很漂亮。14

他对投机式程序化工具调用的评价短得像判词：这是「显然该做」的事——模型写代码时很多工具是串行、要等的，那就静态分析一下、提前把它们发射出去。真正展开的是后面那段：他想看到一个壳能让模型连着一个月稳定地把一件简单的事做好，并说做不到这件事「很丢人」——让模型达到一个十八岁高中生打工的水平，我们居然还做不到。他认为这是可以靠壳解决的技艺问题，不需要前沿实验室。swyx 一句话点破：这其实就是持续学习那道题。

关于「模型该用什么语言思考」，他的答案是混合英语与 Python（因为模型能力本就是训练数据的倒影），他不买「二进制才是母语」那一套，并反问：难道不存在一些推理链天然就是自回归的吗？时间是，代码的因果性通常也是。他也谈了 AI for science 的门槛：经验科学的反馈环太长，更要紧的是时机——你在一个问题上下注，六个月后可能被一个新模型顺手碾过，所以他必须对「事情往哪走」保持敏感。

他判断 ARC-AGI-3 不到一年就饱和了，并说一家实验室当初要是挑了这个题、现在大概会很难受。这里要把口径分清：2026 年推出时前沿模型在公开集上的成功率约 0.5%，官方 harness 下 GPT-5.6 Sol 是 13.3%，而自带 harness 的第三方在公开集上报到约 99%——「饱和」成立，但那是一个壳的成绩。这一段他也回答了怎么联系他：他不缺「我很喜欢 RLM，我们合作吧」这样的邮件，缺的是有主见的人——哪怕观点不同，只要能说清为什么这么想。1516

底稿是官方单集页自带的完整逐字稿：717 轮，每一轮都带说话人姓名与时间戳。逐句直译，只保留中文译文，不压缩、不摘要、不删减，每一轮都保留说话人标签——swyx（肖恩·王）／维布（Vibhu Norby）／亚历克斯（Alex L. Zhang）。这一期不必猜是谁在说话：说话人姓名是官方逐字稿本身就带着的。节目结尾的订阅与票务提示不属于对话，未列入。1

swyx：好，我们现在在演播室里，跟亚历克斯·张在一起。他最出名的东西大概就是 RLM，不过他还有别的几个身份。欢迎来到节目。 亚历克斯：谢谢你们请我来。 swyx：对。我想还有 GPU MODE？ 亚历克斯：对，GPU MODE 也算。 swyx：你是被马克·萨鲁菲姆带进来的。不是每个人都有这种待遇。 亚历克斯：对。对。我跟 GPU MODE 里所有人关系都很近，所以是的。 swyx：嗯。 亚历克斯：我们经常以各种不同的身份一起做事，早就超出 GPU MODE 本身了。 swyx：嗯。能不能先解释一下——跟这块不近的人不知道它是什么。它就是一个 Discord。它以前专注在，我猜，CUDA Mode 上，后来稍微泛化了一点。是马克起的头。 亚历克斯：对。 swyx：它基本上就像——在我看来，它就是 PyTorch 队的招聘管道。 swyx：然后你离开了 PyTorch。 亚历克斯：对。 亚历克斯：对。它应该是我上大学那会儿，大概 2023 年开始的。起头的是马克、安德烈亚斯和杰里米·霍华德。最初的设想就是——那是一个专门教人写 GPU 核的 Discord，他们还会办讲座，基本就这么多。我之所以对它感兴趣，是因为我当时在写 GPU 核；而且纯属偶然，我当时在 Snapchat 实习。 swyx：Rexis（Snap 的推荐系统）。 亚历克斯：对，我对 Rexis 已经非常厌了。当时他们有个项目，感兴趣的方向是——是一篇叫 Infinite Attention 的论文，好像是一篇谷歌的论文。 swyx：对，我们在 Paper Club 里讲过它。 亚历克斯：对。我当时很感兴趣的是，能不能在 Snapchat 给它写专用核。结果没有，什么都没做成，但我加入了 GPU MODE。当时它叫 CUDA Mode，我猜是因为法务之类的原因才改的名。在那儿我认识了马克、马泰，还有一堆在社区里非常投入的人。后来马克提出了一个叫 Popcorn 的点子，也就是今天你们看到的那个排行榜。大概的思路是——我们所有人都有一种直觉：写 GPU 程序跟你们如果打过竞赛编程非常像。我不是说两者是可迁移的技能。 swyx：你有约束条件，还要稍微做点代码高尔夫。 亚历克斯：对。 swyx：嗯。 亚历克斯：对。而且——大家做的优化其实只有小得惊人的一片空间，真正有人想去优化的核也其实没几个。所以我们就有个想法：如果你有足够多的数据——就像 Codeforces 有几百万道题那样——如果你能在 GPU 代码上做到这件事，你就能把 GPU 核开发规模化、自动化，这对研究者来说是件大事。因为那大概是最大的瓶颈之一。比如你看 Mamba，他们发论文时会连核一起发，否则你根本没法有意义地用它；可不是每个组里都有一个 Tri Dao。所以我们对此非常感兴趣。KernelBench 也是从这儿长出来的：能不能让 LLM 自动写 GPU 核代码？那段时间很好玩，正好夹在我大学和读博之间，我在 GPU MODE 里过得很愉快。现在我只偶尔帮忙讲讲讲座，参与没那么多；总的来说我们的比赛也比以前少了。但我跟他们那边的人还是经常联系。 swyx：这里有友好的竞争关系吗？因为我觉得以前做这件事的社区像是 MLSys、MLPerf 亚历克斯：对。 swyx：那一类。有竞争吗？这就是新一代的 MLPerf，还是怎么回事？ 亚历克斯：GPU MODE 好的一点是，它同时是一个社区：很多讲座对初学者来说足够容易跟上，也能提问。比赛也不是说次要，但你可以为了学东西去参加。而 MLSys、MLPerf 那一类基准，在我看来，基本上只有认真的实验室和公司才真的去参加——至少我的理解是这样，我也可能记错。另外，现在除了 GPU MODE 之外，真正让人兴奋的一件事是出现了很多网站和专门办比赛的人。我记得有个…… 亚历克斯：好像有个网站叫 LeetGPU 之类的，就是 GPU 题的 LeetCode。 swyx：哇。 亚历克斯：还有好些别的，我们都见过；有很多这样的东西冒出来，还来 GPU MODE 讲过。这件事很让人兴奋，因为我觉得 GPU 编程在我开始感兴趣的时候还非常小众。我之所以会对它感兴趣，纯粹是因为 Tri Dao 当时在普林斯顿做了一场报告——他那时在申请教职，现在已经是那儿的老师了——我在 2023 年听了他那场讲 FlashAttention 的报告，当时就想：哇，这也太酷了。 亚历克斯：我当时就想，这就是所有人都该去做的事。那会儿 vLLM 之类的也出来了，大家都会说「哦，我们该去写核」。可现在呢，所有人都在写核。所有人。我觉得这个领域某种程度上已经接近饱和了。 维布：对想入行的人，你有什么有意思的观点吗？我觉得最大的新闻之一是 GPT-5.6 写出了更高效的核，于是 Terra 和 Luna 能便宜八成。 亚历克斯：对。 维布：然后我们还看到别的比赛里，有人在刷记录，说自己在跑某种自动研究循环，而这些人并没有—— 亚历克斯：对。 维布：没有任何写核的背景，对吧？ 亚历克斯：对。就算在 GPU MODE 的排行榜上，你看最近那些题，几乎所有的解都是 AI 生成的。但你在榜上会发现——有个叫 Gauners 的人，是 GPU MODE 里非常固定的一位成员，我们早就知道他是个特别猛的 GPU 核作者。我们在榜上发现的一件事是：他这些解也用了 AI，但主要是他在提示、把方向往某处推。结果他的核基本是前十名里唯一一个在真实端到端系统里能稳住的东西。这就带出一个问题——GPU 核有一个验证问题，这一点我们算是早就知道，从 KernelBench 发布起就有，奖励作弊一直在发生。你还会注意到，生成的代码行数短得多，但—— 维布：对，我正想问，这件事明显吗，还是说只是—— 亚历克斯：不，这很明显，这—— 维布：好。 亚历克斯：这绝对是非常重要的事。而且我觉得很有意思的是：擅长写 GPU 核，到今天仍然有很大的 alpha。 维布：好，所以从验证到—— 亚历克斯：绝对有。而且这件事对很多 AI 系统也成立。比如就拿最近的数学证明来说，那也并不意味着数学家就多余了——这些公司还在雇数学家，做标注也好，或者只是把模型往解出问题的方向引导也好。对这些东西有知识，仍然有很大的 alpha。 swyx：那只是知识，还是说也涉及更多的规划——有没有一种新冒出来的、更管用的规划风格？ 亚历克斯：我觉得是两者的混合。也许你说的就是这个：对…… swyx：差不多是这个意思。 亚历克斯：对怎么解这类问题的直觉。 swyx：比如说，我总是先把代码画成图。 亚历克斯：对。 swyx：对吧？ 亚历克斯：对。 swyx：然后，如果图里有一部分我不理解，我就一直干到理解为止，否则它不允许往下走。 亚历克斯：对。 swyx：对。 亚历克斯：所以我觉得是这些东西的混合：会做的人——那些知道怎么看这类问题、怎么解这类问题的人，也懂得怎么用 AI 去解。因为你在充当一个非常强的验证器。我们从这一堆智能体群、这类系统上发现的一件事是：当你在一个问题上砸进足够多的算力，你确实能把它的解空间探索得比较充分。但很多时候，你也许在一个问题上烧掉一千亿甚至一万亿 token，而如果你拉一个懂这个问题的人进来，他能替模型挖出点东西，把那笔一万亿 token 的开销直接抹掉。这里的趋势到底怎么样，其实并不清楚。但我觉得现在野外要解的问题太多了，我们不可能永远都拿尽可能多的算力去砸；效率这一面仍然极其重要。 swyx：那有没有一个理论上正确的答案，你可以按物理算出来，然后往那个物理极限靠？ 亚历克斯：有的。对 GPU 核来说，你是能算的。不过有时候不算容易，取决于问题有多复杂。比如矩阵乘法就很好算——最快能有多快，可以算出一个「光速」式的估计。这也取决于假设，比如你的数据是先从 CPU 出发，还是已经在 GPU 的 DRAM 里，这些会让数字略微变化。 swyx：数据搬运这些东西，对。 亚历克斯：对。但我要说，很多情况下能不能碰到那个理论数字，其实并不清楚。那是在假设数据的搬运完美重叠；而现实里可能有一个绕不过去的瓶颈。很多时候我们写的核离那个数字远得很，远到根本不值一提。 swyx：对。那重要的是速度吗？你显然也在意内存—— 亚历克斯：嗯。 swyx：因为内存会喂给速度。你在意功耗吗？我们今年最好的一期之一是 Geoff Dean 那期，他说「其实我只看微焦耳，或者说纳焦耳、皮焦耳」。 亚历克斯：对，今天是皮焦耳级别。 swyx：皮焦耳。 亚历克斯：对。 swyx：那你在意吗？ 亚历克斯：我不看。 亚历克斯：对。我大概没那—— swyx：但这里的核心是速度，对吧？ 亚历克斯：这里的一切都是速度。 swyx：没人数皮焦耳。 亚历克斯：但我——这里有个前提：单个核的速度，和一个更大问题（比如一个端到端的模型）的速度是两回事。举个例子，也正因为如此，说清「光速」指的是什么才重要——在这些核的场景里，我们默认一切从 HBM 开始；但你可以想象，在一个端到端模型里，你可能会牺牲第一次操作的速度，把数据留在 cache 里给第二次操作用。而这些事情，你在单个核里是根本做不到的。大家管这叫融合，或者说—— swyx：Megakernel。 亚历克斯：核融合问题。对，或者叫 megakernel。它大体上只在 memory-bound 的场景下成立。但这里还有一个问题：随着模型变强，我们是不是就该去生成 megakernel？那真的是我们想要的吗？ 维布：你怎么看？ 亚历克斯：我觉得这很难，因为你得先有数据。我到现在还没在野外见过一个例子：不靠任何样本，就自举出解一整类难题的能力。另一个让我觉得这件事没那么有意思的原因是：在单个核的层面，它们没那么复杂，而且你对单个核里的结构也没多少信心；但在 megakernel 上，我更倾向于相信编译器会做得更好——在更高层的算子之上做某种编译是有道理的，因为大融合的部件其实就是那些单个核，可组合性很强。有些地方你会想做奇怪的融合，但总的来说我认为这些是编译器大体能处理的场景。据我所知有一家公司正在做这件事，他们也在 GPU MODE 上讲过。 swyx：对。我基本想在这里把 GPU MODE 的讨论收一收，因为显然还有其他部分 亚历克斯：对。 swyx：我们得往下走。 维布：这里其实值得插一句。你们确实办了很多非常好的讲座，都在 YouTube 上，大家可以跟。 亚历克斯：对。 维布：而且你负责了相当一部分，现在还深度参与。 亚历克斯：我以前是，现在有时候也讲。不过主要都是马克在讲，马泰有时候也讲。我强烈推荐这些讲座，它们是极好的资源。大家在上面分享的东西多到有点离谱。 swyx：因为如果你在那儿，你就是最对的那批观众？ 亚历克斯：没错，正是。 swyx：这些东西到不了主流。 亚历克斯：而且我们也放了很多入门材料，我觉得对人有帮助。 swyx：KernelBench 挺有影响力的。我想看看——那是去年的事。 亚历克斯：对。 swyx：还有什么正在进行的工作你想顺带提一下、让大家关注的？因为这显然是你参与的 亚历克斯：对。 swyx：那个领域。 亚历克斯：对。我讲一下背景故事吧：我其实参与过很多基准，或者说在我读博之前参与过。这事从我在普林斯顿开始——我当时跟那儿的 SWE-bench 团队一起工作。 swyx：John、Carlos。 亚历克斯：John、Carlos。 swyx：Ofir。 亚历克斯：还有 Ofir。他们都很棒。 swyx：Karthik。 亚历克斯：我很喜欢他们。对。 swyx：基本上就是——我觉得外面的人不知道这些基准有多少出自普林斯顿的同一个组。 亚历克斯：对。 swyx：在普林斯顿。 亚历克斯：太夸张了。 swyx：那 Xun Yu 呢？ 亚历克斯：对，是的。 swyx：我们请过他上节目。他现在管着腾讯那边。 亚历克斯：对，他现在是个超级明星。我遇到他的时候，他在带我的朋友 Michael Tang（现在在 Anthropic）——他们合作很多。我们俩是 Karthik 实验室里仅有的两个本科生，后来又进来了一些人。Xun Yu 非常厉害。我离开之后才知道他这么有名。 swyx：对。怎么说呢，这样的博士生非常少。你这样的就是下一个。我们大概每年推一个人，基本上整个博士期间都在点上。 swyx：这样的人不多。Xun Yu 显然是一个。Jack Morris 是另一个。而且我们在开录之前聊过研究品味。 swyx：对吧？有些博士生就是有个被祝福的职业生涯——「对，这东西会留下来、会重要，所有人都该知道」。 亚历克斯：对。 swyx：而另一些人，什么都没有。 亚历克斯：我觉得这在行业实验室里也一样，只是博士生更显眼，所以你只看到那些……有些人 swyx：对，你能发论文。 亚历克斯：运气真的很好，或者是运气加上非常聪明。我觉得研究品味也是从机会里长出来的，至少在我身上是这样：我很幸运走了这条路——先在普林斯顿，后来在 MIT 找到了 Omar，他是个极好的导师。不过我要说，研究生或者学术界最成功的研究，往往出现在人们去关心那些行业里多数人不看的问题时。我看到的问题是：很多博士生做的东西是「对行业实验室好看」的东西。比如他们会去做一个当下特别火的基准。2023 年的基准和现在是完全两回事。现在有很多人做壳、元壳、某个任务专用的壳。你认真想想，一个人做这个的理由，可能就是一个围绕今天这些模型画出来的清晰目标——「这是我想看到的东西」。但举 RLM 这篇论文的例子：我觉得它是个极简单的想法，它出来的时候也有很多人看到就说「这东西到底有什么用？」 swyx：或者说太酷了。 亚历克斯：对。「这不就是子智能体之类的吗？」 亚历克斯：我觉得你收到这种反应，几乎是个好信号，因为这说明人们根本没在想它的用途到底是什么。再举一个 SWE-bench 的例子：Ofir 特别爱讲，它刚出来的时候根本没人理，所有人都说这是个不可能的任务，我们为什么要拿它当基准？直到 Devin 出来，大家才说「哇，这是我们要往上爬的东西」。这在你观察想法时很常见。我最喜欢的例子是 Eric Zelikman 的 STaR 和 Quiet-STaR 那一系列工作。我第一遍读的时候想：这不显然吗？或者思维链，也一样。再或者 Xun Yu 的 ReAct，看的时候想「嗯，行吧」。但你真去想它为什么有价值时——价值在于它讲了一个「你希望这个领域长什么样」的故事。而这在学术界特别难做：你看 Quiet-STaR、ReAct、RLM、SWE-bench，没有一个是像 GPT-6 Astra 发布那样，让所有人当场说「我要用它，这是世界上最好的东西」。学术界现在至少是负担不起这种事的。我有一大堆理由觉得这该改变，但如果一个博士生不利用自己那份独特的自由——你基本上想做什么就做什么——去做那种没人关心、或者别人觉得琐碎的事（「哦，我想过，但我不用」），那这份研究最终永远不会太有意思。因为在学术界，你就得下大注。否则，去行业实验室就好：他们有海量资源和人才。你为什么要待在一个资源不多、旁边也没几个人的地方？说到底就是：你必须下大注，而且其中很多会失败，这很自然。但 亚历克斯：作为博士生，这是你对其他实验室里任何一个人最大的优势——你不用应付官僚和那一堆别的事。 swyx：说得对。 亚历克斯：对。 swyx：我问过很多人这个问题，通常他们都会含糊过去。所以我很欣赏你认真回答了：对，这就是你的不公平优势，因为别的一切都站在对你有利的相反面。 亚历克斯：完全正确。而且说实话——我要举 Jev 当例子，因为它不是一个学术项目。 swyx：哇，好。 亚历克斯：它不是一个学术项目。 swyx：对。 亚历克斯：我想举这个例子，因为 RLM 上也发生过同样的事，很多别的工作上也一样：东西会被过度炒热。某种程度上，一件事被炒过头，然后大家就说「它凭什么被炒」「这不显然吗」「这很蠢」。我在 Jev 身上看到了一样的事。因为那次发布——这里面有一整套东西：学术界，或者说他们不是学术群体，但人们得做品牌、得去推销自己的研究。所以我理解，但当时有一大堆讨论说 Jev 不过是「我们早就知道很多年的东西」。我觉得这恰恰错过了重点：为什么这样一套系统这么有意思？为什么它不是一个我们早年在机器学习入门课里就做过的、愚蠢的 NLP 分类器？我觉得 Jev 真正有意思的地方是，它打开了一个问题：语言模型「对不对」？就以它现在的形态，我们能不能考虑一个文本到文本之外的设计空间？因为他们做的其实是说：我要利用这个语言模型主干——我知道它承载了大量关于语言的信息——但我要改变这个模型的输出空间，换来一份取舍，也就是我会用非常快的推理去完成它。如果你对这个问题有先验，比如说我只需要做一次二分类，我要去问我的语言模型、然后付 400 倍的成本吗？不，那太蠢了。很长一段时间里，因为只有实验室控制着这些东西，你永远不会用 GPT-4、GPT-6 或 Fable 之外的东西，因为它们是最好的模型；也正因为如此，人们习惯了一个观念：语言模型就是一个自回归解码器。我们把这当成了默认。我觉得 RLM 出来时也一样——我收到的一个很常见的批评是「这不是语言模型」，或者「我看的时候以为是新架构，结果不是」。我的回应是：语言模型就是在建模语言，它不必非得是那个 Transformer 解码器。而 Jev 让人觉得有意思的地方在于，我们现在多了一个可以去调的东西： 亚历克斯：那就是输出空间是什么，以及它如何影响推理延迟。而我觉得我们其实可以开始对语言模型本身的各种部件问同样的问题。我们在循环 Transformer 上也看到过这一点：它是一样的想法，围绕它的很多声音也都是「这想法很傻」「谁在乎啊」。但它是简单，可它打开了一整套新的问题——尤其如果你是博士生，这些正是你想回答的问题。因为有些事我们不知道。比如 Jev，我们不知道这件事能做到多远；循环 Transformer 也一样，我们不知道能做到多远。如果你只循环模型的一个子集呢？如果你只路由到模型的某些部分呢？你能不能把壳里做的事搬到模型里面去模仿？壳的选择和模型架构的选择之间，能搭起什么桥？这些都是这类工作打开的问题，而这非常让人兴奋。Jev 特别是我看到的时候就想：这东西对 RLM 其实非常有用。这说得通，因为 RLM 或者智能体群这类系统最大的瓶颈就是慢。你一直在做多次语言模型调用的时候，你的算力并没有被正确分配——也许有个很琐碎的事，你只想让一个简单模型去做，但你做不到，因为你的语言模型就是这么个笨重的东西。所以我很兴奋。我觉得我们会开始看到各种新类型的模型冒出来，不再只有那种标准的前沿模型；而这上面能做的事太多了，因为多了这些新的取舍。 swyx：我也要提一下 Thinky 和他们的交互模型。 亚历克斯：对。那也是一个很好的例子。 swyx：对。基本上就是试着打破从序列到序列、只有解码器这个范式，去做点别的任何东西。 亚历克斯：对。 维布：我觉得这里有一层：如果你想竞争，你是竞争不过一个做自回归 亚历克斯：不。 维布：解码器的前沿实验室的。他们在算力扩展上的资源量——连 Thinky 也不会去比。好吧，也许有那么少数几家能比，但至少你做不了太多。 亚历克斯：我对 Thinky 了解不多，也不太想说太多，但如果他们的策略只是复制 OpenAI 或者 Anthropic，那是个糟糕的策略。 亚历克斯：因为，他们根本没有——你得从「你有什么优势」这个角度去想。如果你用同一套配置——我相信他们不是——但如果用同一套配置，你基本上就是在你能控制的东西上竞争，也就是数据和算力，而显然他们在这两样上比不过前沿实验室。所以这很合理：如果你是一家新实验室——其实我也不确定你会不会把他们算作新实验室，但我想 维布：对。这就是为什么他们被放进那个名单。他们发布了 Inkling。他们不能 亚历克斯：我觉得他们算是比较奇怪的一家，对。 维布：他们在那个名单里。他们发了 Inkling。他们不能 亚历克斯：除了 OpenAI 或 Anthropic——也许还有 Meta 和 GDM——你就是得做点别的事。这是残酷的现实，但我其实觉得这是好事。我很高兴规模律还管用、这些公司会继续做下去，因为这样才会冒出新的玩家——万一他们挖出点真正有意思的东西。我有点怀疑前沿实验室里真的在做这种事，因为「你为什么要那么做」？既然旧的赌注已经赢了，你为什么要冒险把大量算力投到新的赌注上？ 维布：我觉得这正是很多新实验室被孵出来的原因，对吧？ 亚历克斯：对。 维布：你有个旁注的赌注，但你拿不到算力，于是你说 亚历克斯：对。 维布：「行，我出去自己做。」 亚历克斯：正是。 维布：而你说的潜在上行，就像 Jev 这种——便宜好几百倍，出来了，而且也许它就是语言模型。 亚历克斯：对。 维布：只是这一回它长得不一样。 亚历克斯：对。 swyx：对。 swyx：所以你对 Jev 到底是什么，不做任何猜测？ 亚历克斯：我大概有些猜测。我看到有人说「哦，这像是扩散那类的」。我想 swyx：那就是并行解码，对吧？ 亚历克斯：对，并行解码。说实话，无论它到底是什么——我看到过一些开源复现——让我真正兴奋的是：我不完全确定他们的优化目标是什么、他们是怎么训的。这其实也是 RLM 一直在想的事：RLM 是个非常简单的想法，我发了这篇论文，现在谁都能用；但 RLM 真正的价值在于你能不能把它训好，以及你能不能围绕这套系统塑造出某种架构让它真的变得很好。这也是我正在做的事。但对他们来说，他们找到了训练这套系统的办法，而这完全不平凡——我其实真的不知道他们是怎么做的。我在网上看到一些比较，有人声称他们用的是 Qwen，或者在 Qwen 之上做了后训练；但你用的任何一个开源 Qwen 都会更差，因为他们为了训练它做的那些事显然非常有效。所以这很让人兴奋。 swyx：这里有一个元素是校准。这是个很少有人谈的话题，我甚至不觉得大家知道或者理解它。我们跟 Hugging Face 的 Clementine Foley 聊过——她以前负责 Hugging Face 的评测。基本的意思是：模型被调成给你最可能的下一个 token，可当你问它「你有多确定」时，它会骗你，因为它还是给你最可能的下一个答案，而不是真的去校准，说「我其实只有百分之五十确定」或者「我只有百分之二十确定」，然后真的去把这件事校准好。就我看来，校准这件事其实很容易合成数据去训：因为你能看到真值，然后合成生成一堆答案，让 Jev 去分类，再跟真值比。 亚历克斯：哦，我明白了。 swyx：这大概就是我对它的逆向工程。 亚历克斯：对。 swyx：我其实觉得，校准大概是被低估的部分。人们现在只是把它当成一个非常快的分类器，甚至没有用到它的概率或者校准估计。 亚历克斯：对。 维布：我觉得它同时还是被误解的。你问模型「你有多确定」，它会吐出一个百分之四十三的数字。这里最大的区别是：这是一次有依据的分类。 亚历克斯：对。我非常期待看大家拿这个模型做什么。它能解决一切吗？当然不能。但它解决了我们一直很吃力的一类问题：低延迟的事。所以我特别喜欢游戏那些例子。 swyx：对，Doom 那个例子 亚历克斯：对 swyx：非常棒。 亚历克斯：我自己就有一个让语言模型玩电子游戏的基准。我一直着迷于「一个智能系统能不能玩没见过的游戏」这件事。所以我觉得他们能用一种独特的方式做到这一点——把一个快速模型里的语言与理解能力抓出来——非常酷。 维布：哦，既然说到这个，关于电子游戏你有什么想说的吗？ 亚历克斯：哦，有。 维布：这一段。你确实做过一个关于电子游戏的基准，对吧？ 亚历克斯：对。这些数字现在非常过时了 维布：对。 亚历克斯：因为很多模型已经很不一样了。其实我还看到有人拿更新的模型去跑这些游戏，这挺酷的。那个基准的大前提就是：我们想看看视觉语言模型在把延迟约束也算进去的前提下，能不能接进游戏里。因为我是在 Claude Plays Pokémon 出来之后马上做的这个。 亚历克斯：那是两年前的事了，现在说起来算上古了。但我觉得这一套任务很酷的地方是，游戏种类非常多；而且大多数游戏是大家认识、或者见过的。我看到有人玩 Doom。我得说，我觉得他们玩的只是非常简单的关卡。老实讲，大多数模型现在还是玩不动，我不认为有任何模型能真正有意义地通关这些游戏。有些游戏是可以的——我见过 Astra 能解那个 Kirby。另外，为了这个基准，我们故意设计了一个极简的壳。这点我后面会展开，因为关于「壳的价值到底是什么、对一个模型来说壳的意义到底是什么」，有一整场对话要谈。总的来说，我希望很快就能看到这些游戏被更新的模型打穿。 维布：对，这挺有意思。当年那个 Claude Plays Pokémon，他们是从内存里读状态、看哪些格子能走之类的。我们很久以前跟他们做过一期播客。 亚历克斯：原来如此。 维布：挺好玩的。 swyx：对，很像。比如 Doom 那边也没有视觉 亚历克斯：对 swyx：所以你得把游戏状态这些东西喂进去， 亚历克斯：对 swyx：那我们直接进壳这一块吧 亚历克斯：好 swyx：因为这是你提出来的。语言模型的壳是组合泛化器。 亚历克斯：对。 维布：这句话你念得很吃力。 亚历克斯：我来解释。好。对于大家怎么想「壳」这件事，我一直有点不满意，因为人们会比较：「哦，我喜欢 Claude Code，我喜欢 Codex，我喜欢 Pi」，「不，我喜欢 Oh My Pi，我喜欢 Prime Agent」。说实话，我觉得它们都是一样的。这些壳的大部分设计决策、设计选择都是一样的。也许 Prime Agent 稍微不同，因为它天生就是一个 RLM。但总的来说，我觉得我们在壳这件事上可以更有创造力得多。我说的意思是：如果从「壳到底替模型做了什么」这个角度看——当你想用一个语言模型去解一个问题，一个非常难的任务时，我们发现的一件事是：下一个 token 预测是完成很多这类任务时非常别扭的一种形式。比如拿 SWE-bench 来说，当你要在一个代码库里穿行时，你能靠一次语言模型调用把这一切都做完吗？你只要说「解决这个代码」或者「在我这个代码库上解决我的查询」？不行。所以我们依赖壳来做这类事情。有意思的地方在于，壳是一段非常专断的程序，规定了你希望这个语言模型以什么形状被塞进一个问题里。我提这个是因为，当我们想壳在做什么的时候，我们应该真的去想：壳里的哪些选择让语言模型能解这个任务？以及，我能不能干脆就有一个直接做这件事的语言模型？因为壳——你想想，既然循环 Transformer 已经存在了，有意思的是你在某种意义上也可以用壳来建模一个循环 Transformer，对吧？你不过是在模型上循环。你可以说「哦，那我不是在解码」，所以有点不一样。但总的来说，我们不知为什么一直沿用着同一个模型架构选择，永远没变。有很多理由解释为什么会这样，但很清楚的一点是：我们现在是围绕壳的 rollout 在训练模型。于是就出现了一种非常别扭的训练方式——我们训练一个语言模型在某个壳里行动，但现在这变成了一条很长、也许是多个智能体的 rollout，而做这件事的方式又非常别扭、非常 hacky。所以这篇博客讲的是：你可以这么想这里发生的事——如果壳基本上是在帮模型解某个特定任务，那么不同的壳设计选择，能不能真的做出一点更有意义的事，而不只是「这里有一些工具调用能帮你」「这里是让你 grep 代码库的办法」。其实这个——这篇博客的想法是和 RLM 的想法一起来的，只是我们当时没有那么包装它。我觉得这是对的。围绕 RLM 还有很多别的想法，我们会陆续发出来，但它们从一开始就在那儿。这些都是关于设计决策的事。我喜欢 RLM 的一点是：我当时感兴趣的不同抽象有很多次迭代和版本，最终 RLM 最说得通；至于为什么是这样，有很多不能公开的理由，你们会看到的。所以在这个例子里，我们从一个 RLM 身上看到的一件事是：如果你把上下文充分外置，并让模型在那份上下文之上写代码，你会得到一个很怪但很有用的性质——当模型在训练中认出「怎么解一个任务」时，结果很多任务的解法非常相似，甚至相似到你自己都不觉得它们相似。举个例子，一个有检索任务，一个有聚合任务，它们的查询非常不同，领域完全不同。当你用一个常规语言模型去训这两个任务时，轨迹看起来完全不一样。所以如果你用 Pi 或者 Claude Code 之类——这篇博客里没有，但我们有这些结果——你会发现这些壳把这两类问题区分得太过分了，尽管解法是同一个。而训练 RLM 时我们发现的一件事是：它看到这些问题时，觉得它们是同一个。它之所以觉得是同一个，是因为子智能体看到的是不同的问题，但子智能体解的是一个更容易的子任务，所以你有信心它够聪明去做它；而整体的基础策略，最后看起来是一样的。所以你训练左边那个任务，它就能立刻解出右边那个。如果你往下看我们那些图，你会发现：当你只是朴素地把 RLM 训在这些任务上时，它会自然地学会泛化到更长的任务，因为策略基本上是一样的，你只是在改一个长度变量。这件事对那些不一样的任务也成立——它们甚至不是长度上的不同，而是完全不同的任务，数学任务对写作任务；但解法，那个高层的元解法，是同一个。所以你用其中一个训 RLM，它就把这个行为泛化到第二个上。这里面没有魔法。我想强调的也许正是这一点。 维布：你会怎么用语言描述它们到底学到了什么？因为我记得这里你说，你在短任务上训练它，它就泛化到 8–30 倍长的事情上。 亚历克斯：对。 维布：它们是在学怎么解这一类问题，核心学到的东西到底是什么？ 亚历克斯：对。它们在学的是「以某个长度解这一类问题」。而结果证明，你把它学到的策略拿过来，可以直接迁移到更长的长度上——它们实际上是同一个程序。 维布：对。 亚历克斯：这件事很让人兴奋，因为它的含义是：当你有一批数据或者环境来训模型时，希望是 A，你可以用更少的环境训练，泛化到比起现有模型（或者现有壳、现有的朴素训练）能覆盖的更多东西上；同时 B，你还是想用上你所有的数据。所以你在这些任务上训练，希望它能泛化到更宽的一类问题上。而更让人兴奋的是，至少对 RLM 或者任何递归调用的系统来说，这个论证是归纳地成立下去的。举个例子，因为我刚说竞赛编程和 GPU 优化用的是非常相似的技能组合。模型——壳可能要你往某个方向推一下，但它能学会：「好，我解这个 GPU 编程任务的方式，跟我为竞赛编程学到的那套很相似。所以我要列出一组解法，我会开子智能体去列出有希望的解法，然后我写一个循环去检查这些解，也许让它们演化，对着一个验证器去演化。」在这两个任务之间，这看起来是一样的。但子智能体在做的事也许各自独特、各不相同。甚至子智能体在解的问题本身，也可能是同一种形式，因为这是一个递归论证。所以这篇博客想说的是：我们该重新想壳的角色，因为壳其实能大幅提高模型的泛化能力，以及它被喂到的数据量。而这并不专属于 RLM。我认为还有一大类尚未被发现的壳，它们同样能产生类似的性质。把论证再推远一点：你还可以外推——如果把一个 RLM 拆开看，它里面哪些部件是真正必要的？我能不能干脆直接训一个模型来做这件事？我能不能训一个模型，让它在自己的前向传播里隐式地表现得像一个 RLM？这是个很怪的念头，因为你可能会说「哦，代码是不可微的」等等。但这种行为有很多近似形式，我们会开始把它们挖出来。我觉得我们会看到的东西，会超出「我设计一个用了某种特殊压缩形式的新的编码壳」这种层次；这里能做的太多了，而我认为我们就是没在做。我对此非常兴奋，因为我觉得，非常专断且良好的壳设计可以带来实打实的收益，而且它本身更适合规模化。这里说的意思是：RLM 是一个非常原始的归纳偏置，它的设计除了「跟我们现在的做法很不一样」之外，没什么特别之处；但它可能会和我们手头的数据与环境一起，缩放得更好得多。 维布：我想人们大概会问的反面问题是：现在的壳都非常偏向编码，而大家看到这在很多领域都管用。Claude Code 被用去做设计、做演示 亚历克斯：对。 维布：什么都能做。MuseSpark、Grokbot。 维布：这些都是非常简单、不带成见的壳，它们擅长写代码，而那也在扩展出去。那要改进它们，例子是什么？ 亚历克斯：好，我提另一篇最近刚出来的论文，就是那篇「壳税」论文，我记得是 Arena 做的。我很喜欢这篇，因为它提出了一个我本来就有的先验，基本上就是：大多数 维布：所以它证实了那个先验。 亚历克斯：对。大多数壳的选择不重要，因为 维布：对。 亚历克斯：所有这些壳都是一样的。但我要说，比如 Grokbot，据我理解，它其实跟其他这些壳的设计相当不同，我很喜欢这一点。至少从这儿能清楚看到：我相当确定 Anthropic 或者 OpenAI 只在自己家的壳上训练，大概不会去训对手的壳。我猜不会，因为我想不出他们为什么要那么做。但是 维布：可这在开源模型上就是会看到的事，对吧？比如 Qwen 很擅长用 OpenCode。 亚历克斯：对。 维布：它们是需要在壳里训练的。老的 Gemma 在这件事上是出了名的差。 亚历克斯：对。 维布：模型是好模型，但你得在壳里训它。 亚历克斯：不过我觉得，随着模型变聪明、或者变好，这个区别就没那么重要了：比如你把 Astra 放进 OpenCode，它不会崩，因为它已经足够好了。我这么说是因为这些不同壳之间唯一的收益，大部分时候就只是成本。我想说的是，如果你把这些模型插进 RLM，它们还是不太行——凑合，但不行。我觉得主要原因在于，我们围绕训练的那一类壳，就是这一类：这个 Pi 式的循环，我喜欢把它叫「把轨迹当 prompt」，意思是你把整条 rollout 的轨迹都当作主模型使用的上下文，即使你用了子智能体，也还是这个形式。我觉得，如果我们想探索新的壳，那就需要有团队专门去做有意义的实验——比如围绕不同壳设计做后训练式的扩展。我觉得我们能从这种工作里得到非常实在的知识或者收益，不管是 RLM 还是别的东西。这很让人兴奋，因为比如说，如果你大量地训练……很长一段时间里，Fable 是 RLM 上最好的模型，因为它们有动态工作流，很明显这份能力是被训进去的；即使模型还有点笨，放进 RLM 壳里它还是比其他模型好用得多。Astra 现在也足够擅长做这些事了。但是 swyx：等等，这是你们看到的「Fable 最适合 RLM」，还是别的地方 亚历克斯：哦不，这些都是内部结果，我想。 亚历克斯：对，我现在没有公开的 swyx：好 亚历克斯：数据。但总的来说，你可以非常容易地看出来：我们还没有为 RLM 这类工作流优化过。而如果我们能拿到正确地做这件事的模型，它们也会高效得多。你可以自己顺着想一想为什么会这样，对吧？ 维布：我觉得到这里你必须给出那个十秒钟的「什么是 RLM」。 亚历克斯：哦，对。 维布：因为这里有很多听众 swyx：对。我们假设了太多背景知识。 亚历克斯：对。 swyx：另外我觉得你——但你已经铺好了一些背景 维布：对 swyx：所以你可以——就用我们刚说的这些 维布：对 swyx：能不能给 RLM 一个干净、利落的定义？ 亚历克斯：可以。好。我想回到那篇博客，那篇 维布：好 亚历克斯：关于组合泛化器的那篇。这篇。好。 swyx：好。 亚历克斯：这一篇是我最喜欢的。我后悔没把它放进原始论文里。RLM 基本上就是一种壳设计，其中壳里唯一的工具就是代码，也就是这种程序化地调用子智能体的东西：它可以选择把自己当成工具来调用，它也有别的工具；但所有这些工具都是代码里的函数，而它处理的上下文永远存在这个代码环境里的某块内存中。这可能是一个文件系统，比如——我给你举个例子，Prime Agent。Prime Agent 的轨迹，也就是它的上下文，甚至包括你压缩之后的那一切，都存在磁盘上。所以模型永远能引用它的原始上下文，即使那份上下文已经被压缩过；而它所有的工具都跑在，比如说，一个 Python REPL 或者 Bash REPL 里。这就是那个非常原始的抽象。我要说的是，大多数壳的区别在于：A，上下文外置不是这么做的。顺便说一句，如果你去看 Prime Agent，它确实做了上下文外置，但没有做到极致——它仍然保留着标准 Codex 的那种循环，也就是「把轨迹当 prompt」然后压缩；只不过它额外做了上下文的某种外置。Prime Agent 独特的地方是，它唯一的工具就是 IPython。所以这就是围绕 RLM 的那种非常通用的抽象。对。 维布：具体来说，RLM 想解决的核心问题是什么？ 亚历克斯：对。 维布：我记得它刚出来的时候，是上下文。 维布：我把问题交给你。 亚历克斯：对。最初的问题是：壳处理长上下文非常吃力。它们过去通常只被用来做很特定的事，比如代码——它们能应付你的代码库，因为它就是在那上面训的。但现在它更多是关于这篇博客在讲的东西，也就是组合性；以及这一点：我们希望语言模型系统在每一步对自己的动作有更多控制权。这里的意思是：工具调用是非常受限的，因为你每一轮都得去调用——你得先调工具 A，再调工具 B，再调工具 C，而且没有一个中心化的上下文可以让你随时回顾。RLM 就是专门围绕组合、围绕一个你可以随时取用的中心上下文来设计的；而这个上下文是围绕现有的语言模型设计的。另一个设计上很相似的例子其实是智能体群，比如 Hugging Face 那次事件里那些系统：这些智能体群有一块留言板，它们学着在板上通信，这块板在某种意义上就是它们共同行动的共享上下文。而 RLM 基本上是在说：通过这块板通信的最好方式就是代码——你写代码来做这件事，因为这些模型写代码实在太好了，我们想利用这个事实。 swyx：然后对这套组合的东西来说，一直可以到——包括为具体任务生成你自己的壳。 亚历克斯：正是。 swyx：对吧？ 亚历克斯：我觉得我们会开始看到这一点——如果你往上看到这张图。好，我们聊到「对一个壳来说，什么是局部在分布内的任务」这个想法，它是在「在分布内任务」之上叠加的一个概念。当我们想语言模型时，一个在分布内的任务，就是那种它的 prompt 是模型见过、或者见过某个版本的任务。大多数壳的工作方式都像右边这个：它们把轨迹一直往后接，当成 prompt。于是最终，除非你是 Anthropic 或 OpenAI、在这些用户轨迹上训练过，否则这些事大部分最后都会落到分布之外。而「局部在分布内」基本上就是那个组合论证：如果一个 RLM 把它的计算拆成某种元壳、或者一个含有一群看局部问题的子智能体的程序，那么在这个任务的全过程中，每一次单独的语言模型调用都在分布内——哪怕整个任务本身在分布外。我觉得出于显而易见的原因，这是一个非常值得追求的性质：如果每一次单独的语言模型调用都是分布内的，你大概就能走到正确答案。 swyx：RLM 的逻辑终点是 RLLM，就是你不但写壳，还为它训一个专用模型 亚历克斯：正是。 swyx：你收集数据、全套东西。 亚历克斯：对。 swyx：就是一个完全自动化的 AI 研究者，住在你的壳里。 亚历克斯：对。我们会看到 RLM 的训练往哪走。我要说，作为一个学术研究者，我没有在 MIT 做这件事，至少没有规模化地做，因为我负担不起。但外面有公司在做。我觉得 Prime 和 Select 显然在做，这很酷。我很期待看到——也许我们会观察到，围绕一个聪明的壳做训练时，后训练缩放律会不一样；也许我们会看到更聪明的壳被做出来，它们在这些原则下工作得更好。 swyx：什么叫「更聪明的壳」？这话听起来没什么内容，你刚还说它们都一样。 亚历克斯：不。更准确地说，Claude Code、Codex、Pi 等等都一样，指的是当你把壳的逻辑拆开看，它们几乎是同一个东西。 swyx：对，两次调用一个循环，或者 亚历克斯：对 swyx：随便什么。 亚历克斯：但用 RLM 和其他壳抽象，看起来就非常不一样，而这正是真正拉开差距的地方。这跟语言模型的架构选择很像：很多架构选择在规模化之后看起来都差不多，差别最后是有点小的——对一家实验室来说不小，但也许只是某个模型收敛得稍微好一点。总的来说，预训练缩放律之所以成立，恰恰因为我们现在的架构选择是稳定的；但如果你把架构整个换掉，预训练缩放律大概就不成立了，那种幂律的形状会完全不同。壳也是这样：我觉得我们现在有的壳，大部分看起来都差不多，但也有一些例外正在出现。 swyx：我正想说——我最近更感兴趣的一件事，就是聊那些下大注的博士生时说的：也有人在追另一边，那就是如果你换数据，预训练缩放律也不成立。现在用的只是原始的、非结构化的互联网文本语料。如果你有一种更好的数据表示去训练呢？那你的缩放律也会变。 亚历克斯：对。 swyx：所以有架构、有数据，还有你能想到的别的。好，我就想回到这里。这些全都说得通。有趣的是，你怎么能在整条栈上上下递归——从非常概念的地方，到「我们今天到哪了」。 swyx：但很明显，它可以上下扩展。我好奇的是：你是怎么开始跟 Prime 合作的？Prime 在这件事上会承担更多工作吗？这是它们对 Hermes 智能体的回答吗？ 亚历克斯：嗯。 swyx：你提到 Grokbot 有点不一样。我想把这些人一个个点一遍，听听你对每一个的看法。 亚历克斯：对。我是怎么跟 Prime 搭上线的——他们发了一篇博客，顺便说一句跟我完全无关，讲他们相信 RLM 就是未来。我有个朋友在那儿工作，是 GPU MODE 的马泰。我们联系上了，我认同那儿很多研究者的想法，尤其是他们对壳设计的看法。我很佩服他们理解了 RLM 那篇论文的目的——它不一定是说「我们在解长上下文任务」，而是说我们想要更专断的壳设计。 swyx：对。总是有那种情况，论文被你选择强调的那个结果 亚历克斯：对 swyx：跟它真正的观点。 亚历克斯：对。我很想聊学术界的激励、为什么它有点扭曲、以及那一堆问题，我们回头再说。总之，我很喜欢 Prime 那帮人。我们决定合作之后，就决定去研究 RLM 的训练，同时做这样一个 RLM 壳，看看能把它带到哪。Prime Agent 就是这么来的，我觉得它的反响相当不错。我对 Prime Agent 唯一担心的是：至少在我们在做它的时候，没有哪个模型真的擅长做 RLM 那一套。那是 Fable 之前、Astra 之前。 swyx：我想退一步问：你能不能解释一下 Prime Agent 是什么，它跟传统的、大家预期中的 Claude Code 那种壳有什么不同？ 亚历克斯：好。Prime Agent，我想我前面提过一点 swyx：对，之前有那张图。 亚历克斯：基本上——它是架在 Pi 之上的一层壳，Pi Mono。顺便解释一下，Pi Mono 像是那种 swyx：核心智能体 亚历克斯：极简的 swyx：对。 亚历克斯：极简的 swyx：对。 亚历克斯：对，就像那个壳。我把 Pi 当作一切的参照物，因为我觉得其他所有的壳基本上都只是 Pi。 亚历克斯：但它就是 Pi，只有一点不同：我们明确限制 IPython 是它能用的唯一工具。其他每个工具都作为 Python 模块、或者它能跑的 Bash 脚本被加载进来。所以它是在 Pi 之上用了 RLM 的核心抽象，然后还有一个叫 continual harness 的东西——那是塞思，另一个博士生。这是他用来让语言模型壳玩游戏的东西：他跟乔尔合作很多，也就是做 Gemini 玩宝可梦的那位。顺便说，continual harness 也非常简单，我挺喜欢它：它基本上就是围绕一个设计原则——壳里的哪些部分你可以让壳自己去改？有些部件你会让它改自己的技能、能用的子智能体、以及给模型的系统提示。continual harness 基本上就是 IPython 内核里的一个工具。这就是 Prime Agent，它的设计就是围绕这些。Prime Agent 里别的东西都是 swyx：标准的。 亚历克斯：标准的。 swyx：标准的。 亚历克斯：对吧？对。我很喜欢它的一点是——我们也算走运——很多新的前沿模型在里面都工作得很好，甚至很多开源模型、至少一些新的，也工作得很好。Prime Agent 里还有一件事我要强调：我们有一套非常特别的智能体间通信系统或者框架，因为 RLM 往往会产生很多子智能体，我们希望子智能体能跟根节点、或者彼此通信。所以有一些设计决策围绕着每个子智能体可以跟谁说话、怎么说话。同样，一切都在代码里，它写代码来完成这种通信，这我觉得非常酷。另外还有一个东西叫持久子智能体：子智能体可以活得比原本那个智能体的常规运行时间更久，你可以走进那个子智能体，继续给它提示，你对正在发生的事情有更多的可见性和灵活性。 swyx：这是我目前对 Codex 最大的痛点。它们的子智能体非常短命，而且它们还主动劝你别拿它去做长跑的事。 亚历克斯：对。对。我觉得这也说得通。 swyx：所以诀窍就是把状态外置到文件系统，对吧？ 亚历克斯：对。对，这就是 swyx：这就是那个诀窍。 亚历克斯：这是那个大诀窍。 亚历克斯：对。 swyx：而且还有，就是逼一切走代码。相信那个会写代码的模型 亚历克斯：对 swyx：它能自己给自己写壳。那 Prime 会接手训练、为它后训练专用模型吗？这是你们之间一次性的合作，就这样？还是说 亚历克斯：对。他们在训一个模型——我记得他们其实挺公开地讲过这件事 swyx：对 亚历克斯：三月的时候。 swyx：显然这就是他们的生意。 亚历克斯：对。 swyx：对，所以。 亚历克斯：对。他们展示了自己能在他们那种托管的训练栈上训它。但模型训练这块我没有参与，主要原因是我在博士期间还有别的想做的东西。我觉得还有很多大的赌注可以下， swyx：哦 亚历克斯：不只是 RLM。 swyx：哦 亚历克斯：有些我还不知道能透露多少。但总的来说，我真的觉得当博士生的一种奢侈就是：有那么多大注可以下，它们大多数大概什么都不会产出，但做研究真的非常令人兴奋——尤其因为我觉得这个领域里大部分进展都有点无聊。我不是说结果无聊，而是做这些事情的过程本身往往相当无聊。于是就出现了这个问题：我们接下来想做什么？ swyx：对 亚历克斯：这个我们后面可以聊。 swyx：对。 亚历克斯：对。 swyx：好，我想把你的研究再收一收，然后我们就 亚历克斯：好，行 swyx：开始往外讲。你发了 RLM 之后，大家很兴奋。有没有什么第三方、二手的工作你想点名，让大家去看看？ 亚历克斯：哦，有。法律 AI 公司 Harvey 发了一篇博客——跟我完全无关——他们把一个 RLM 后训练到他们的法律工作上，这类工作往往要翻大量文件，在里面找各种具体信息，而这些信息用纯检索系统不太好捞。他们给的结果非常好，很让人兴奋。我吓了一跳，他们居然做了这件事，事先都没告诉我，所以东西出来的时候我就想：哦，太棒了。这一件我觉得特别酷。顺便说，我记得这是跟 Baseten 合作的。 swyx：对，这次是 Baseten。（节目里念成了 Base 10。） 亚历克斯：Headlong，是 Laude 的——法研究所的那个，是他们持续运行的壳。这非常酷 swyx：哦，他们改名了？以前叫别的名字。 亚历克斯：以前好像叫 Auto swyx：Terminus。 亚历克斯：对，我知道，他们改过好几轮。 swyx：好吧。 亚历克斯：这是安迪·康文斯基的大项目。这超酷，我很喜欢安迪。我不想贬低他们在做的事——他们用的是 RLM 抽象，但他们做的事比 RLM 更酷：他们有一套系统，他们管它叫「持续地思考」。所以即使你不去问它，它也有办法在它上下文里的问题上推进思考。 swyx：哦，所以就是那种一直开着的东西。 亚历克斯：它像是一直开着的东西，但没那么贵。他们控制 token 成本，确保不会把你的额度烧光。这非常酷。我在想还有哪些。其实如果你去 RLM 的 GitHub 页面，下面我链接了一堆东西，有很多人做的很酷的事。Axe 也是一个很酷的，我印象里就是一个人做的，是套在 DSPy 和 RLM 外面的一层壳。DSPy 自己也有一个 RLM。哦，最后一件我要点名的是：在 ARC-AGI-3 上，我相信他们那个 Kaggle 比赛——官方的那个，不是公开的榜单那种——上面有很多壳，它们都声称、或者引用了某种 RLM 抽象的思路（比如他点了 TUFA 这个名字）。这非常酷。我觉得这正是你最能从组合、从用代码、从把神经符号系统跟 AI 结合起来里获益的场景。所以 swyx：对。 亚历克斯：对，非常酷。 swyx：我们喜欢任何好的神经符号引用。 亚历克斯：对。 swyx：你还提到 ARC-AGI-3——OpenAI 出来说「我们在这上面到 99.9% 了」。 亚历克斯：对。 swyx：他们还说「我们解了纳维–斯托克斯，我们就是拿一个模型往里砸」。 swyx：关于这是否「只是模型」，有一些争论。 swyx：他们用的是 RLM 吗？ 亚历克斯：我猜大概不是，除非你说——我在这里会小心一点，因为人们在争什么算 RLM、什么不算。比较清楚的是：他们用的某种智能体群，带一份共享的上下文，比如某种共享文件系统。这非常符合 RLM 的精神，但我认为他们还做了很多更聪明的、也许跟 RLM 本身无关的事。我有点同意「壳对他们做的事不是那么必要」这个说法。我会这样表述：像 GPT-6 Astra 这样的模型，在拿到正确信息的前提下，技术上足够聪明，能为这些非常难的问题想出证明。现在，你怎么拿到那份信息才是巨大的问号。在他们的情况里，这大概归结为一场非常长的搜索——在很多子智能体、或者说群体里的很多智能体上做搜索，也许还加上研究者——这部分我其实不确定——把他们「该往哪探索」的直觉投进去。最后，它产生了某些信息，某个智能体能够用它把证明收尾。所以在这个意义上，壳有那么重要吗？没有。我觉得这指向的是：壳的具体细节并不真的重要；我觉得那篇「壳税」论文指向的也是同一件事——除了用户对壳的感觉之外，现实中真正重要的只是：你怎么有意义地把这些智能体组合起来、走到最终答案。也许这才是智能体群这些东西真正的主题。所以至少从我看来，如果我们开始想用户场景，我们想从壳里得到什么？ 亚历克斯：我们想从这些东西——那些 Claude Code、Codex——里把好的部分拿出来，比如大家爱看的那条流。但底下跑的可以是一群非常奇怪、非常复杂的智能体，它们最终给出一个答案。用户不想看见这些，显然，对吧？因为它不是可读的信息。所以——这也是另一个符合 RLM 精神的东西：递归语言模型听起来像是一个语言模型，但它其实不是一种语言模型架构。之所以这样说，是因为我觉得将来某一天我们所谓的「语言模型」——我们查询的那个东西——可能其实是一个群体、一副脚手架、或者某种缩放得很好、但用户根本看不见的奇怪壳设计。用户最终看到的只是一个前端的壳。至少我觉得，可以比较有把握地打这个赌：这就是我们会看到的东西。 swyx：对。 亚历克斯：而这也许又回到了基础 Transformer 的局限。显然如果你只拿一个基础 Transformer 说「解纳维–斯托克斯」，它做不到。我们都知道不会那样。但我觉得更值得看的是另一头：那些关于「壳重不重要」的说法，其实更多是在说——随便把模型、或者说把智能体指向一个不断增长的信息上下文，也许就足以解决非常困难的问题。这个我信。 swyx：这里面信息量很大，但我想说，OpenAI 花的钱是半公开的：10,000 个智能体，88 小时。 亚历克斯：哦，对。 swyx：1,300 亿输出 token，按公开定价估算大约是 4,000 万美元。 亚历克斯：意外的是，比我以为的便宜。 swyx：对，没那么多。 亚历克斯：对，对。 维布：1,300 亿是最终的输出，但就像你说的，中间还有大量上下文在传。 维布：光是智能体之间发的消息总量，就比这个数字多一倍以上。 亚历克斯：对。 swyx：对。 亚历克斯：对。对。 swyx：我觉得还有一件事我很荣幸能提出来，就是 Cursor，作为智能体群这一块。 swyx：这个稍微老一点，是二月的，搁现在算上古了。 亚历克斯：哇。 swyx：但如果你一直往下翻到他们最后收敛到的那个多智能体架构，它基本上就是一张普通软件团队的组织图。我一直在想的一件事是——因为我基本上——子智能体要做的那个汇总函数，跟 GPU 编程其实非常像。 亚历克斯：对。对。对。 swyx：所以这是一个瓶颈。那里是一个瓶颈。 swyx：如果有一个主智能体协调所有子智能体，那它们做完之后必须再收回来、重新协调。 swyx：那很慢，很糟。真正的群体应该是每个人都自己一条命。 亚历克斯：对。对。 swyx：对吧？ 亚历克斯：这个我同意，但这里有个问题值得讨论。我打个比方：什么时候用压缩、什么时候用 RLM？有很多场景里 RLM 能解一个比压缩更难的任务，但大多数情况下你还是宁愿用压缩，因为它更便宜、更快。放到智能体群上也是一样的道理：我相当确定，群体的九成五是彻底没用的——或者说它探索的东西彻底没用，就是在烧 token。而在这种配置（组织图）下，也许不是这样，我也不确定，也许这里也一样。 swyx：每个人都有自己的工作。这是你的董事会。 亚历克斯：对。 维布：我觉得在某个层面上，问题本来就是这么被框起来的，对吧？ 亚历克斯：对。 维布：比如你有一个搜索问题，你铺开一堆子智能体去做搜索，那必然会有大量无用信息，对吧？你最终要的只有一条检索答案，而你铺开去做了很多，但这一点是被有意认识到的。 亚历克斯：对。但这里有个问题：对哪一类问题，什么才是合适的解法？理论上 OpenAI 可以把这套 API 打包出来，管它叫「智能体群」，交给你说「把它指向任何问题，我们就给你一个解」。但也许 swyx：对，它叫 Pro，对吧？ 亚历克斯：对。也许你得付 4,000 万美元才能拿一个结果。 亚历克斯：那你会想——但这还是很让人兴奋。我要说：光是「我们有能力把 4,000 万美元指向一个问题、并且把它解掉」这件事，就已经非常让人兴奋了。 维布：对。 亚历克斯：但这个领域还有大量研究要做：什么是必要的？我们想要什么？我们想要什么样的设计？我们大概不想把所有事都变成智能体群，但界线在哪？智能体能不能自己设计、自己决定这些？等等。所以。 swyx：对。然后顺便问一句，万一你有看法：你对「开放式」（open-endedness）这一整类问题了解得多吗？ 亚历克斯：哦 swyx：意思是，没有 prompt，直接开跑。 亚历克斯：了解一点。我在 Sakana 待过一个夏天，就在我读博前后，那是他们花很多力气做的事。而且我觉得现在连 Recursive Super Intel——那样的公司都有很多了。 swyx：对，我们刚请了 Richard Socher 上节目。 亚历克斯：哦，对。理查德的公司，还有——等等，那可能是同一家公司，我记不清了。Tim Lautenschlager 是不是也在 swyx：对。 亚历克斯：好。对，就是那家。 swyx：他是主要联合创始人。他以前是谷歌负责开放式研究的人。 亚历克斯：对。 swyx：对。 亚历克斯：我觉得开放式这类问题，在我看来跟没解出来的数学题有点像。这么框可能有点怪，但我觉得人们在处理它们时用的技术大体是同一类：演化式搜索，跟「放一群智能体出去、指望它们撞出点有意思的东西」非常相似——AlphaEvolve 和那一两年前的几项工作做的就是这件事。但有一点也许不清楚，我不确定这是不是你在暗示的：在开放式这类搜索问题里，我们是不是把它们都框成「一道没解出来的极难问题」，也就是目标很清楚的那一类？如果不是，我到现在也还不完全知道它的价值在哪。也许你有别的看法。我自己对这个没有太多看法，但至少我在 Sakana 那段时间感觉到：我们最终其实还是想用 OpenAI 处理纳维–斯托克斯的方式来处理事情。我们还是需要往某些方向上推很多，才能走到「有点意思」那一步。 swyx：我的版本是这样：也许这可以分成基础科学和应用科学。基础科学，你为了研究而研究。 swyx：你只是想更好地理解事物，我完全不知道它会不会有任何应用——然后应用科学，你有一个目标。 swyx：你是在某种意义下最小化损失？所以在人们下的那些大注里，我真正想的是：如果没有 prompt 呢？比如 亚历克斯：我明白了。 维布：你就挑一个领域，让它 swyx：比如你就这么放出一群东西，然后说「嘿，兄弟们怎么样？你们在做什么？」 亚历克斯：对。 swyx：然后你就判断 亚历克斯：我明白了 swyx：比如「这个问题有意思」。 亚历克斯：最大的问题是——也许现在已经有一条清楚的路，但至少我在那儿的时候，人们对开放式研究最大的意见是：最后你到底怎么选？你怎么把有意思的东西挑出来？因为当没有——也许智能体会自己提出一个目标，但很多情况下，它们——他们有一个叫 Fugu 的东西，我印象里，像是模型路由那一类，至少它的灵感来自这个想法：让我们挑一个问题，也许我们能从中挑出最好的解。在这里，挑的就是「对这个最好的模型」。 swyx：你是第一个把模型路由跟开放式研究连起来的人。 亚历克斯：没有，对。我提这个是因为，开放式研究一般的问题就是：当我们有这么大一堆垃圾的时候，我们怎么筛 swyx：对 亚历克斯：把藏着的宝石找出来？而开放式研究真正的解法也许就是让模型一直跑下去，然后去找——就是做数据生成，超高吞吐地做数据生成，然后让智能体去翻、去找出有意义的东西。我不确定，也许这就够了？如果够了，那也不错。 swyx：对我来说，它非常有意思，因为它几乎是对整个机器学习的反面：你有一个目标，而它没有目标。 亚历克斯：对。对。 swyx：或者说，是一个定义不清的目标——你说「那这个目标呢」，然后「好吧，也许」，接着你再研究下去，你发现 亚历克斯：对 swyx：这是个有意思的目标。因为我觉得，就像你说的，找到那个目标函数——Jeff 找到了一个没人在探索的目标函数。 亚历克斯：对。对。 swyx：我觉得这跟你关于博士生的那段话很像。你留在学校里，是因为你想追求开放式研究。如果你想利润最大化、想逃离永久底层，那你就去实验室。 swyx：对吧？ 亚历克斯：对。对。这挺好笑。我感觉我很少听到这种讨论，我在东海岸，那儿是很不一样的一类；但我每次来这边，这永远都是话题。 swyx：你不做这个就付不起房租。 亚历克斯：对。 swyx：对，你们正在被挤出这个城市，各位。 维布：对。 swyx：好。所以，就是这样。我不知道你想不想——如果够相关的话，聊聊「被管理不善的天才」那篇，你刚才翻出来了。 维布：没有，那只是在你博客上。但我要戳一下 Sakana。 swyx：哦，Sakana？好。 维布：对。他们在博客里……我也跟他们聊过这件事。他们「Ultra」的一个很酷的结果是：他们基本上就把它放开，让它去做自动化的数据科学研究 维布：几乎没有人工干预。它就是自己在做 swyx：对，所以这是自动研究，比刚才那种更开放一点，而开放是分程度的，这一点我同意。 维布：对。跟有目标的自动研究不同，这个就是 swyx：对 维布：随便做点什么。但这挺酷的，有兴趣的人可以去看看。 swyx：既然你提到了，那你对 Sakana 怎么看？除了「日本那家」这个标签之外，他们在做什么？ 亚历克斯：对。 亚历克斯：我其实很喜欢那儿的人。我觉得他们团队很聪明，这也说得通：他们是从 GDM 早期一个团队分出来的，那个团队做的也是这种开放式、演化式研究风格的东西。我喜欢我在那儿经历的一点是——他们后来确实出过那次翻车，我都忘了是什么时候了，但我觉得 swyx：你说的是 AI 科学家那件事？ 亚历克斯：不，是 GPU 核那件。 swyx：哦，好，对。 亚历克斯：那件。对。 swyx：人们到现在都不肯原谅他们。对。 亚历克斯：对。至于 AI 科学家，它确实有一些批评，但我没做那块，所以我没有看法。但总的来说，我喜欢他们的一点是：他们更像一个研究型实验室，不在 OpenAI、Anthropic 那个空间里运作。当然，绝对不是。很可能很明显的是——至少我在的时候——他们没有一个大家都在用的大竞争模型。但我觉得他们某种程度上像一个博士实验室，这很酷。而且我觉得 David Ha 真的非常聪明，他对这些有很好的感觉。另外我觉得日本的 AI 市场也有点不一样，他们瞄准的人群跟我们这边习惯的不太一样。但我喜欢他们做的东西有点怪——很多人看他们的研究会这么觉得——我喜欢这一点。 swyx：我们应该多一些怪东西，对。 亚历克斯：正是。 swyx：你说市场不一样。是企业市场那种吗？ 亚历克斯：那边做事的方式有点不同，比如生意是怎么谈成之类的。 维布：他们确实有一个——我记得这个页面原本是日文的，但他们有一个模型 亚历克斯：哦 维布：专门面向日本市场的。 swyx：所以你之前不知道。 亚历克斯：我不知道。 维布：我也不知道。 亚历克斯：真不知道。 维布：我还有私人朋友认识那个团队。 亚历克斯：对。 维布：所以确实有。就连你说话的文化方式，回答都会往那个方向调。它不是在基准上很前沿的那种，而是一个对他们文化上合适的模型，然后还有聊天之类的功能。 亚历克斯：对。 维布：但顺着你刚才那点说，还有一个问题是：教育应该是什么样？有人想去做这件事，而他们就是一个非常博士实验室式的态度：「做你的事吧。为什么不？我们有钱，去研究。」 swyx：哦，他们说这是 Kimi 的一个微调。挺好。 维布：哦，原来如此。Kimi。 swyx：祝他们好运。 swyx：对，说到 Kimi，就像另一个——就是一个研究生冒出来说，我手上有个 Kimi delta attention，我想做这个。 维布：对。对。 swyx：然后不知怎么就在 Moonshot 做成了。我到现在都没搞懂。 亚历克斯：对。至少据我了解，他特别猛。总的来说，我觉得很多中国的实验室做出了非常酷的工作。 swyx：对。 亚历克斯：是的。 维布：对 Kimi 的智能体群有什么看法？ 亚历克斯：有。我要说的一点是：OpenAI 在智能体群上做的，显然是对的事。你得这么想：没有什么东西是免费、轻易来的，尤其是在没有非常聪明的壳设计的情况下——而我不认为到现在为止真的有人拥有那种设计。比如智能体群这个设计，不是你能当成理所当然的东西。不是说 GPT-6 Astra 特别聪明，然后智能体群就自己跑得很好了。他们显然是训过的——Hugging Face 那次事件就是他们在训一个系统，让它表现得像一个群体。我觉得他们显然做成了某些非常好的东西，好到你能拿 4,000 万美元去砸、并且解掉一道没人解出来的题。至于 Kimi 的智能体群，至少我读的时候，感觉是「挺有意思，但我其实不知道它能不能解出任何新的东西」。 swyx：对，他们就是——他们说「它能替你生成表格」。 亚历克斯：他们基本上是那样，就像：这是一群智能体，能做事，挺酷。而且——动态工作流我也要说同样的话。我其实觉得动态工作流那次发布算是失败了，我不知道你们怎么看。我的理解是它没怎么被用。 swyx：它太贵了。 亚历克斯：它太贵，而且 swyx：「Ultra Code」那种，基本上就是「接管我的床」。 亚历克斯：而且它不——我试过，它的行为方式不像——再次说明，我不是 OpenAI 最大的拥趸那类人，但我觉得他们做的事非常了不起：他们不知怎么让这个群体真的能 swyx：我明白 亚历克斯：朝一个目标行动。对。 swyx：我明白。 亚历克斯：这非常难。 swyx：我明白。所以这里的目标函数其实是多智能体群的有效性。 亚历克斯：对。 swyx：对吧？ 亚历克斯：对。 swyx：就是这里面有多少是垃圾。这里面有大量垃圾。 亚历克斯：对，我觉得是。 swyx：OpenAI 那边垃圾少一些。 亚历克斯：我们太把一个群体收敛到答案这件事当成理所当然。 swyx：对。 亚历克斯：这不像别的。它不是我们可以想当然的东西。 swyx：对。对。我们跟 Noam Brown 做过一期，他的 亚历克斯：哦，对，我记得。 swyx：他整套说法是：我们研究了很多竞争型智能体，现在在做协作型智能体。 亚历克斯：对。 swyx：而现在这就叫智能体群。 亚历克斯：对。 维布：我快速戳一下。你对 Gemini 有什么看法？他们也拿过 IMO 金牌。有段时间他们让智能体长时间推理，然后 亚历克斯：对， 维布：现在再想这些是不是太老了？ 亚历克斯：不。我觉得这件事有点被夸大了。Gemini——我得先说，我没在这些地方工作过，所以这话你打个折扣听。 维布：你对智能体壳有很强的看法 亚历克斯：对 维布：而这个 亚历克斯：但先让我说这个：那项工作非常了不起。我觉得他们展示的是：在模型还不是很强的时候 维布：对 亚历克斯：他们把壳该做什么这件事想得非常聪明。至少对我来说，AlphaGeometry 大概是一年前的事，但它非常酷。他们把它推到了极限，然后设计了……我也不知道。我想说我对竞赛数学兴趣不大，但我觉得 GDM 挺可惜的：我跟每个聊过 GDM 的人看法都差不多——它太官僚了。他们有人才和资源去做几乎任何事，但，我也不知道，在他们想明白这一点之前……我不是针对 anti-gravity（他们那个工具），但我不认识任何人用它。我试过一次，看不出有理由换过去。我觉得不知为什么，他们一直在这一点上挣扎。所以是的。 swyx：对。当年很多人也一直嘲讽 Meta，直到他们 亚历克斯：对，然后他们回来了 swyx：开始出东西。我觉得谷歌现在正处在这个阶段。 亚历克斯：对。 swyx：你只要活着 亚历克斯：对。 swyx：我想回到 亚历克斯：对 swyx：回到你自己的想法，泛泛地聊。我们可以聊投机式程序化工具调用 swyx：被管理不善的天才，或者干脆把这些都扔了，聊点别的。 亚历克斯：好，那我们就聊一会儿「被管理不善的天才」。 swyx：对。 亚历克斯：关于投机式程序化工具调用，我唯一想说的评论是：这是个极简单的想法，几乎显然就该做，没什么更多可说的。我觉得你就该把它用在写代码上。任何程序化调用智能体的系统，比如 RLM，都是不假思索就该上。 维布：对还没读过的人，它是什么 亚历克斯：对 维布：一句话版本是什么？ 亚历克斯：简单说：当模型在写它的代码，或者说在它写完代码之后，很多工具是串行、要等的，那你就该提前把它们发射出去。如果你能对这段代码做即时编译，你大概就能看出来——尽管里面有变量之类的东西，你还是能看出来 swyx：对，静态分析。 亚历克斯：对。所以 维布：投机。 亚历克斯：对。有人给我指出过，其实学术界，尤其是 PL（编程语言）那圈人，已经有了些很漂亮的写法。所以也许哪天我会去做这件事。 swyx：我想主要是你得换语言，因为如果你在 JavaScript、Python 里，你做不到这件事。 亚历克斯：对。对。 swyx：比如 Haskell 可以。除了 Haskell，通常的那个是什么？ 亚历克斯：Lisp。 swyx：Lisp，OCaml。 亚历克斯：OCaml，哦对。 swyx：对，任何函数式语言 亚历克斯：对 swyx：你其实可以把这东西做成流水线。 亚历克斯：对。 swyx：如果你想留在 TypeScript，那就用 Effect-TS。 亚历克斯：对。 swyx：好，我们可以换到 维布：我喜欢这张图。 亚历克斯：对。 swyx：这基本上就是你们整套论点，对吧？ swyx：对我来说，这像是把之前的话重说一遍，但也许我漏掉了什么—— 亚历克斯：对 swyx：就是：去把壳做好，或者你的模型其实有能力做多得多的事，只要你再努力一点——所以这是个技艺问题（skill issue）。 亚历克斯：对。对，基本上是这样。有一件事我想看到—— 亚历克斯：在做某份工作。我觉得我们做不到这件事，简直是荒谬的。原因之一是语言模型这个形式本身不太适合，但我觉得你可以围绕它塑形出一个壳来做。而且我觉得这件事本身——先不提 RLM、先不提我们该用什么抽象——就是有人能设计出一个壳做到这件事。也许 swyx：你说「做到这件事」，做到什么？ 亚历克斯：做长时间运行但简单的任务，并且可靠地做。 swyx：好。 维布：举个例子？这跟——挑一家你喜欢的公司，比如 Harvey，用 LLM 做法律工作，有什么不同？ 亚历克斯：我觉得有点像那个，只不过瓶颈不是某种法律知识之类的东西。我不知道，比如说 维布：我想那些例子里，人们可以拿模型搭流水线什么的，让一个智能体反复去做它想做的事，对吧？ 亚历克斯：对。比如说，如果我想要一个通用的系统，我可以像跟实习生说话那样跟它说话，就让它去探索某个小东西。也许一个例子就是非常傻的自动研究：不一定找得出超级新的解法，但至少能把任何问题里所有容易的部分优化掉。这类系统往往过度偏向 ML 训练之类的东西。但，我也不知道，也许我说得不够清楚。人们的日常工作流里有很多，你其实可以随手 vibe code 一个具体的壳来帮你自动化这件事。例子像是自动去找研究论文之类的。但通常人们会设计一个专用智能体来帮自己做这些，或者随手 vibecode 一个壳、然后直接跑，或者做个 Slack 机器人。但我几乎觉得应该有一个标准形态——就是一个你直接插进去就用的壳。它不需要是为「找论文」专门设计的；你就告诉它「替我把这个找出来」，然后把它插到那个场景里。我想说的是：有很多容易的事是可以被自动化的。 维布：这是一个假设，还是一个关于能力余量的观点？就是说，即使我们停下来，以现在的模型水平，仍然有很多影响可以做出来？ 亚历克斯：某种意义上是的。我呈现的是这件事最容易的形式。但它想说的是：我们在很多事情上是「参差不齐的智能」。比如模型在编码和数学上强得不成比例；而这说的是，我们可以把这些能力翻译到很多别的事情上。比如通常你把一个拿过 IMO 金牌的人放到很多不同的问题求解领域，他都能搞定。我不知道这对模型是否成立。比如在 GPU 代码优化里，一个很有意思的问题是：如果你把一个模型里所有 GPU 编程的数据都拿掉，但它还是和现在的 Astra 一样强，它还能优化 GPU 核吗？它能不能在上下文里大致学会它需要学的东西，然后有一条流水线、或者自己想出某种解优化任务的办法？我觉得这里有一个错配：如果你拿一个和 Astra 一样聪明、或者知道得一样多的人，那个人能做的事和 Astra 能做的事之间存在落差——也许这个落差就落在壳上。我觉得我们其实可以做得更接近人。 swyx：对我来说，这听起来非常接近持续学习这个问题。我觉得你—— 亚历克斯：那是最好的例子。对。 亚历克斯：对。 swyx：那你刚才为什么不直接这么说？ 亚历克斯：对。我猜我 维布：我刚才还在想，我能不能直接蹦出「学习」这样的词？ 亚历克斯：我在这上面比较谨慎。但对，我 维布：你有个很——的眼睛。 亚历克斯：也许，也许有一点，我也不知道，像一种 swyx：不。我觉得你非常——其实我不知道你本科读的是什么。你总体上是那种数学型的人吗，还是 亚历克斯：有一点，对。对。 维布：你是学数学的吗？ 亚历克斯：对，至少那是我想做的。 swyx：就像范畴论那种抽象：你用范畴思考，然后你得把它翻译到具体的东西上。但其实你更在意的还是那个范畴。 swyx：而这就是沟通出错的地方：大家都在听具体的东西，而你其实同时在传达一般的东西。 亚历克斯：对。 swyx：这很难。我也不太清楚。你也许可以用一个简写，比如「好，我现在在第二层，我要上到第三层，然后回到第二层」。我们应该有某种认知上的简写来表达这类东西。 亚历克斯：对。 swyx：因为这很难。你是在把很多东西压缩进一个词、一个词、顺序解码出来的过程里。 swyx：我们要不要转换成 Neuralese？有没有一种比英语、Python 或 JavaScript 更好的输出形式？我不知道。 亚历克斯：对。 swyx：这很像一条水文，但人们确实在猜：模型想输出的「母语」到底是什么？ swyx：有人说是二进制——那是马克·安德里森的说法。我不知道。对。 swyx：PTX？ 亚历克斯：我会说是英语和 Python 的混合。我这么说的唯一理由是：一个模型的能力，某种程度上是它被训练在什么上的倒影。所以你还是想——对，我不太买「二进制」那套说法。我能理解，但它就像 swyx：对。你还是想用某种方式给世界建模。我觉得， 亚历克斯：对。 swyx：我每次都会提的一件事是萨皮尔–沃尔夫假说：如果你选英语，你就被锁进了英语存在的这段长度——比如说五百年，其实并不长。你所说的语言会约束你怎么想。 swyx：而如果你学另一种语言，比如——中文里我们是没有时态的。我不知道你知不知道。我其实之前不知道，而我还会说中文。 亚历克斯：哦。这个我知道，但我的中文不太好。 swyx：好。 亚历克斯：对。 swyx：对。比如说日语，或者——我忘了是哪门语言了。像韩语，你跟谁说话都得标明社会地位。 亚历克斯：对。 swyx：但那是跟性别不同的一个维度，对吧？它就影响你做的一切。我上语言学导论的时候，据说非洲有一门语言里连蔬菜都有性。对吧？就像你——或者像「爱斯基摩人对雪有一千个词」那种说法。总之，你采用的语言会影响你的思考。如果你选择用英语输出你的思维链，你就是在偏向英语能解的那一类问题。我不知道英语本身带有什么样的先验。 亚历克斯：这挺有意思。我没这么想过。 维布：在某个层面上这确实有意思，对吧？你说得对，语言这件事——很多模型的思维链也会在语言之间来回切换。 维布：最明显的例子是中国的模型：说英语的时候可能还在用中文推理。但同样，大多数模型的多语言能力都很强。 维布：而这种适应性我们能看到：你可以往里加语言。加一整门语言并不会带来太多增益，但 swyx：对。 维布：它们会在语言之间来回推理。 swyx：对。所以我们都是自回归的。但也像 维布：对。 swyx：比如德语，主宾一致，动词必须放到最后，这非常烦，出了名的烦。对，对吧？你不到最后都不知道自己在说什么，然后「哦，这一大堆名词，然后是动词」。不过最经典、大多数人听过的是《降临》：里面的七肢桶把时间看成平的，所以它们一次把整句话一起输出。 swyx：我们说自回归。如果你能用扩散说话呢？东西随着时间慢慢解出来。 亚历克斯：我明白了。我明白了。 swyx：但整个想法是一次性出现的。 亚历克斯：我明白了。 swyx：所以那是一门极其不同的语言，但它仍然是一门语言。 亚历克斯：我明白了。哦，这真的很有意思。这真的很有意思。 swyx：这一类语言机器可能会说，而我们大概永远不会说；但机器不在乎。 亚历克斯：也许这是一个巨大的离题 swyx：对 亚历克斯：可难道不存在一些东西，天生就是自回归的推理链吗？ swyx：有，时间。 亚历克斯：有时候，对。或者，对。 swyx：对。先发生一件事，再发生另一件事。 亚历克斯：甚至，对，比如代码里的任何东西，通常都必须是因果的。 swyx：不，不是。所以这是一个——那你就得——那说明你探索得还不够， 亚历克斯：确实。对 swyx：编程语言理论里，一切都是纯函数式的、完全关系式的，你把那个把「永远成立的关系」翻译成代码的求解器抽象掉了。所以我——对，我感觉这已经有点超出我的深度了。 亚历克斯：不，但它有意思。对。 swyx：但我喜欢语言，不管是编程语言还是人的语言，我确实经常想它如何影响推理、以及我们能做什么的边界。我不需要再往外延展了。不知道你还有没有别的想法。我原本的收尾问题是：你手上有一堆想做的研究方向。你有过 GPU MODE 的阶段，有过 RLM 的阶段。 swyx：想必你还有别的东西在计划，这也是为什么你没有在那上面加倍下注。顺便说，我注意到一件有意思的事：你们这些人都是从 GPU 那一侧开始，然后往「零梯度」那一侧迁移——这是 Shenyou 的说法。跟摆弄 GPU 相比，这不会显得没那么硬核吗？ 亚历克斯：对，我想某种意义上是的。你也提到了：我习惯用偏数学的方式想问题。 swyx：范畴，对。 亚历克斯：而去做壳和智能体有时候会非常不舒服，因为它太 swyx：因为你觉得所有壳都一样。 亚历克斯：对。它太糊了。 swyx：所以你在壳上其实就两个新想法。懂了。 亚历克斯：对。而且，从实证上讲，很多发现在我们能拿到的算力下也很难验证。但我之所以转到这些问题上，是因为我其实觉得，大部分创新还没发生的地方就在这里。对我来说，GPU 那个层面是探索别的东西的手段：比如你把写核这件事做好、甚至自动化，是为了一个更大的目标——我不希望在探索想法的时候被系统层面的挑战卡住。从这个意义上说，我写的那一堆都是壳的东西，但我同样对模型层面的东西感兴趣。就先说到这里。 swyx：好。 亚历克斯：对。 swyx：这是个很好的提示。如果人们想联系你，你在找什么帮助？你想找什么样的合作者？有没有什么想呼吁的？ 亚历克斯：好。我想没有哪件具体的事是我觉得非要找人一起做的，除非——除非是跟一家有算力的公司，或者只是找人聊聊。但我永远不会反对跟别人一起做想法。我经常被联系，通常是本科生，或者别的学生。 swyx：播客主。 亚历克斯：播客主。通常我收到的邮件大概是这样：「我很喜欢 RLM」，然后「我想一起做点事」。我觉得我 swyx：对，这是很差的搭讪，对吧？ 亚历克斯：是的，对。 swyx：最糟的是「我能占用你一点脑力吗？」 亚历克斯：对。 swyx：然后「聊什么？」——「读我的论文啊，哥们。」 亚历克斯：他们会说「我读了你的论文」，带引号的那种，比如「递归语言模型」，或者「Prime Agent」，一个能自我改进的 RLM 壳之类的。而我其实很喜欢有主见的人，哪怕我们不同意。如果你有强烈的观点，并且能想清楚你为什么觉得它对或错——因为通常这很难判断——但你对某些问题有强烈的信念，我随时都乐意聊聊，甚至一起做点什么。我对跟谁合作、做什么，基本上没有限制。所以，对。 swyx：没有限制？ 亚历克斯：对。在智能体的时代，你能做的工作量、带宽都大了很多。所以对。总的来说，我不难被打动，但我觉得还是需要一点点努力去 swyx：对 亚历克斯：大概。对，知道 swyx：对 亚历克斯：知道自己想要什么。 swyx：这很清楚。而且当你看到一个新东西出来，执行得好、想法简单又漂亮，那它就会 亚历克斯：对 swyx：立刻抓住你的注意力，对吧？ 亚历克斯：我会很兴奋。对。 swyx：其实，想拿到跟所有前沿实验室的人一样的注意力，并没有那么难 亚历克斯：对 swyx：因为他们在找你。你只要把自己放到台面上，对吧？ 亚历克斯：正是，对。 swyx：但这是真的。我要说，我觉得现在人的注意力非常稀缺，我自己就在为手上项目太多而挣扎。 swyx：我不知道怎么管理它。我不觉得智能体帮上了任何忙。 swyx：比如我就随手提示一下，然后再也不看它。 swyx：对吧？这非常常见。 亚历克斯：对。 swyx：对，而这很糟糕。 亚历克斯：我想，也许——其中一个比较小的差别是……其实，也许你就是在做研究，我不确定。但至少对我来说，我手上有大概十到十五个想做的想法，问题是它们大多数都是坏的。 swyx：对。 亚历克斯：而且这一点也许对联系我的人也成立：也许那个想法其实是坏的，但在我看来挺有意思。所以我们可以花一点时间看看，如果我们感觉里面真有点东西，那就该把接下来几周拿出来认真追它。这是我的风格，也是我喜欢博士生涯的原因：有些时候我就是在想问题，比如跑步的时候，或者打网球的时候——我猜那不算在工作。但那些是最有意思的时候；而当我真的被某件事说服了，我就会把一切都放下，只做它。 亚历克斯：比如把所有时间都花在思考和工作那个问题上。而一旦走到「可以跑实验」这一步，就又变回一种轻松巡航了。 swyx：对，抱歉。这是 亚历克斯：没事 swyx：倒数第四个问题：我觉得很多人也在把科学看作下一个前沿——物理科学、生物、甚至数学。你怎么区分——比如说，你选项目的标准里，哪些是适合产业的，哪些只是科学？ 亚历克斯：我读博之前其实做过 AI for bio 的东西。那个领域从那时到现在变了很多 swyx：对 亚历克斯：我得说。 swyx：因为以前它更像一种理论上的选择，好像「当然，你什么意思？我就一条路，然后 亚历克斯：对 swyx：我选了它。但现在很多人正在跨界过去。 亚历克斯：对。 swyx：所以我们也开了一档科学播客，专门覆盖这些。 亚历克斯：哦，哇 swyx：因为很多工程师会说：「其实那边有可解的问题。」 亚历克斯：对。先说一句，我对这些话题的理解大概相当有限。但如果我发现——不管是有人来找我，还是我自己看到一个问题时想「嘿，我们现在用的、或者在想的某些设计原则，在这个问题上其实很说得通」——我也会很兴奋。但我觉得那更难。科学，尤其是经验科学或者应用科学，它的反馈环非常长。 swyx：对，它最后会收敛成一个机器人学问题。 亚历克斯：对。对我来说还有这一面：现在什么东西值得我把时间和赌注押上去？因为也许我在一个问题上花很久，然后六个月后，另一个解法出来——比如一个新模型出来说「它更擅长这个」。所以我必须小心。你必须对「事情可能往哪走」有意识。 swyx：对，正是。 亚历克斯：所以，对。 swyx：发表周期。 亚历克斯：对。所以 维布：那到时候我就可以直接告诉 ARC-AGI-3，它饱和了，我们做完了。 亚历克斯：对，ARC-AGI-3 不到一年就饱和了，所以有点——我不知道。如果你是一家实验室、当初挑了这个题，你现在大概有点难受，因为其实 swyx：对。正是这样。这就是为什么知识工作、游戏，所有这些都饱和了。 亚历克斯：对。 swyx：现在真正的前沿其实是科学。所以 亚历克斯：对。 维布：知识工作饱和了。 swyx：对。GDPval 大概是八十多、九十多。 swyx：就是说，那 90% 到 100% 显然是会到的 亚历克斯：这很难说 swyx：十年内。但下一个低垂的果子会是 亚历克斯：说得通 swyx：别的东西。 亚历克斯：对。也许我会多想一点。其实我没有花太多心思在 swyx：我其实只是在猜你下一个方向。 亚历克斯：不。我要说的是，尤其因为我觉得在 MIT——那儿有很多非常有天赋的科学家，在自然科学那边。跑到他们面前说「我要来解你的问题」，几乎有点亵渎。 swyx：不，事情就是这么做的。 维布：这很棒。 亚历克斯：哦不，我知道。对。 swyx：我采访过做过 IMO 那件事的 Yitai。他就像 亚历克斯：哦，对。哦对。 swyx：「我从没去过 IMO，我甚至不知道那是什么。」这就是个技艺问题，哥们。 维布：对。 swyx：这话很不尊重人，但无所谓。可这就是原因。 维布：对。某个时刻，你得尊重它：好，进展确实在发生。 维布：数字确实在往外冒，对吧？ 亚历克斯：确实。对，确实。 swyx：对。这是一个非常大的教训。很有意思，因为数学家们现在正在用这种方式回应那些系统。 亚历克斯：对。对。 swyx：比如 Terry Tao 就说 维布：Tao swyx：「不，我们别，我们别用 AI。」 亚历克斯：对。 swyx：我就想，「嗯，我不知道。」 亚历克斯：这个嘛，我觉得整件事有点怪，因为我感觉——我感觉如果他们中的很多人在这件事发生之前没有跟 OpenAI 合作过，他们的论证会更有力。 swyx：不，那是人身攻击，而他们确实在努力避开这一点。那又怎样呢，对吧？ 亚历克斯：那又怎样？对。 swyx：就像，我不知道。那又怎样？他们合作过。他们确实合作过 亚历克斯：这倒是真的 swyx：我不认同的人，或者 亚历克斯：确实 swyx：随便什么。 亚历克斯：对。确实。 swyx：或者「我做了件事，现在后悔了，我改主意了」，随便什么。 亚历克斯：对。 swyx：所以我会捍卫他们说话的权利。但确实，有很多人在合理地反对他们。 亚历克斯：对。 swyx：好，太好了。谢谢你来做客。恭喜你到现在取得的成功。我简直不敢相信你的博士还没读完。 亚历克斯：这才第二年？ 维布：对。简直不敢相信我们做了一期播客，居然没把 RLM 那篇论文从头讲一遍。 swyx：他给过一个定义。 亚历克斯：我觉得那篇论文更多是关于实证结果。真正的想法其实挺简单。 维布：对。而且你已经讲过很多次了。 亚历克斯：对，到这一步了。我觉得现在有更多有意思的东西值得去看。所以。 维布：好。 亚历克斯：对。 维布：我们很期待看到你接下来做什么。 亚历克斯：非常感谢。