逐段要点整理
00:42 · 嘉宾与公司
- 米沙·拉斯金是 Reflection AI 的联合创始人兼 CEO，物理学家出身，曾在 Google DeepMind 的强化学习团队负责 Gemini 系列模型的奖励建模。公司与这段履历见 Reflection AI 公开资料。
- 公司 2024 年 3 月由拉斯金与 Ioannis Antonoglou 在纽约布鲁克林创办。安东诺格鲁是 DeepMind 的创始工程师之一，也是 AlphaGo 项目的关键贡献者。
- 过去 12 个月，公司把使命定在「构建前沿开放智能并让它被广泛获取」，从约 30 人扩到约 300 人，把预训练、中训练、强化学习三条线都搭了起来。
- 本轮发布的 Beam 是 Reflection 的第一个开放模型：5010 亿总参数、230 亿激活的稀疏专家混合模型，按 Apache 2.0 放出1。
- 他把这件事比作里德·霍夫曼那句「一边飞一边组装飞机」：从零建一座实验室，很多在成熟实验室里理所当然的工具，都要自己造。
02:07 · 造一个开放模型难在哪
- 主持人问：算力、人才、数据三项里，哪一项最难？他的回答是不做选择——「现实是一切都极其困难」。
- 他的说法是「你实际上得把 30 件事同时做对」，其中包括招到人、留住人、有足够强的使命与文化、拿到数据、拿到算力、以及建起让算力真正可用的基础设施。
- 他补了一句关键差异：在一家已经存在的大实验室，这些是多年建设换来的「稳定地面」；在一家新实验室，「你得自己造」。
03:56 · 押注的转向
- 公司最初两年的赌注是：强化学习已经能用于对齐聊天模型，把它用到数学与编程这类领域，就能做出智能体；而这件事可以由一家独立实验室以更高的资本效率完成。
- 这个赌注成立的前提，是「有人会建出一个好的开放模型基座」。他当时的参照是 Mistral 的一个小模型、刚发布的 Llama 2、以及已经看得到的 Llama 3。
- 结果第一年里，强化学习起效的速度比他们预想的快——既有他们自己的实验，也有整个行业在 o1 之后的变化。
- 一年之后，判断反了过来：真正好的开放模型几乎都来自中国，西方没有可用的基座。
- 于是他们决定端到端自己建。他给了三层理由：企业层面的、地缘政治层面的，以及研究层面的——要让强化学习在规模上奏效，你确实得自己预训练。
- 关于成本：18 个月前是「百的量级」的几亿美元，半年前是「十亿的量级」，明年是「10 的量级」。他的经验法则是每代模型算力约乘 42。
07:37 · 追上前沿要多少钱
- 他把前沿芯片当成尺子：两年前是 10 万张 H100，随后 Astra 那次大跑用了 10 万张 Blackwell，下一代大约会是 10 万张 Vera Rubin。
- 对于「会不会撞上渐近线」，他的判断分成两半：资本开支确实会有天花板，但算力的使用效率在涨，单份算力能产生的营收也在涨，两侧一起把压力往下推。
- 他给出的效率数字：纯靠人类研究员时每年约 7 倍改进；当模型自己进入回路帮助建造自己，大约是 30 倍，速度比研究员单干快四倍以上。
10:09 · 规模化的效率
- 「开放模型实验室的一个好处是，你可以公开地谈这些事。」他把研究的资源需求拆成探索新想法与执行已知想法两半。
- 招顶尖人才的意义，就是把探索那一半砍短；所以追赶前沿可以更省资本，而一旦你真的站到前沿上，需要的资源和其他前沿实验室一样多。
- 对「阶段是否已经用尽」，他的说法是：轴基本定了（预训练、合成数据、强化学习），还有架构、数据、算法上的改进空间，但五年前那种押注极其多样的蛮荒感消失了。
- 他给这种现象一个原因：硬件彩票。一样东西一旦开始 work，硬件会针对它共同优化，不匹配的好想法就落不了地。
- 训练 Beam 的两笔账：预训练用 6,144 张 GB300 NVL72、四周内跑完；强化学习用 10,500 张 GB300 跑四周。他说现在凭借基础设施效率，预训练大约 12 天甚至更短就能跑完1。
12:18 · 训练 Beam
- 官方技术口径：Beam 的预训练吃了 23.8 万亿 token；强化学习生成了超过一亿次 rollout，最长上下文 256K，训练与评分动用约 13 亿个沙箱，环境池接近一百万个1。
- 他提到我进入 AI 的原因，是看到联合创始人在 AlphaGo 上的工作：那张曲线一直没有停下来，最后是人主动把它掐掉的。
- 「我们作为领域已经到了那一步」——通用、不停止改进的 RL 系统已经存在，剩下的问题变成去哪儿拿数据、什么有经济价值，以及投多少钱换多少改进。
16:51 · 价值从哪里来
- 代码与智能体能力为智能打底，但经济价值的池子在企业内部：金融里的 KYC 与合规流程、网络安全尤其是网络防御、法律，以及各类智能体化的垂直场景。
- 他描述了一条共同路径：为对方的任务搭出一套好的评估，据此生成近似的合成数据，从而拿到不错的泛化。他强调这不是在客户数据上训练。
- 对开放模型的价值，他的说法是：企业和客户可以把它拿走做定制，得到一种近似帕累托最优的结果——在自己的工作负载上以最低成本换最高性能。
19:55 · Beam 的推理效率
- 官方口径：在高级推理基准上，Beam 取得与 GLM 5.2 相当的成绩，但推理算力只要它的 1/3 到 1/4；面对 Qwen 3.8-Max 这类 2 万亿参数级别的模型，效率优势更明显1。
- 第三方转述的同一组数字见 The Decoder 的报道：Beam 激活 230 亿参数，匹配 GLM 5.2 的同时用更少算力，权重按 Apache 2.0 在本月内放出。
- 他把效率的来源拆成两段：先为推理打下一个强的预训练基座，再用强化学习把它放大；据他所说，一万张 GB300 跑几周这件事此前没有被公开记录过。
- 类比是 AlphaGo：最早的智能体在解题时相当迂回，到了对李世石那个水平，搜索已经非常聪明。规律是跑得越多、能力越高、解题越快。
22:35 · 开放权重怎么赚钱
- 他把开放模型与闭源模型的商业化看成相似的一件事：真正想做的是把推理量最大化。差别在于「租」与「拥有」。
- 买一个 token，你租的是整套栈里的一小块——harness、模型、推理软件、集群管理软件、底下跑着的 GPU，全部被摊进这个 token。
- 开放模型本身是宽松许可的，但客户要真正用起来，缺的正是模型之外的那一整套。所以他们面向大型企业与主权客户，提供让部署成功所需的全部工具。
- 「服务」在他们那里是反过来想的：怎么进去解锁真正有价值的用例，因为那些用例会拉动大量推理需求。
25:03 · 开放与闭源的 token 份额
- 据他所说，大约半年前在 OpenRouter、Vercel 这类网关上还是闭源占多数，现在几乎正好翻转成 70/30 的开放对闭源；他认为这只会加速。
- 他给的类比是操作系统：全世界 95% 以上的服务器与电脑跑的是 Linux。但这不意味着闭源没有价值——微软与苹果都是极其值钱的公司。
- 他强调的另一半是：即使模型完全宽松许可，跑它所需的一切仍然昂贵，算力本身仍然昂贵，所以价值不会只落在应用层。
- 对企业市场，他与 AI 原生公司的路径相反：企业先「定制系统」——拿一个开放模型，先不动权重，只在它周围定制一层 harness，等足够成熟再谈微调。
- 转向的动因是账单：一年在闭源模型上花到一亿美元以上并不罕见；而算力短缺又把裸金属推了回来，「谁填裸金属与上线之间的那一层」成了他们的位置。
31:29 · 与中国开源模型竞争
- 他给出了一个相乘而不是相加的公式：能提供的智能密度 × 有多少算力 × 客户对你的信任。
- 关于竞争格局，他的判断是「一切都在商品化」：整条栈都卷到极致，模型利润率因此被压缩，这种压缩会一路延伸到推理层与裸金属层。
- 他说很多 AI 原生公司在谈闭源采购合同时非常强硬，「因为开放生态存在」——一个可替代的方案会改变另一个方案的价格。
34:38 · 中国的开源生态
- 他的第一个判断是正面的：一个很棒的开放模型生态来自中国，对世界是巨大好处，西方有大量公司因此建起了更可持续的生意。
- 他的风险标准是数量而不是阵营：一两家闭源实验室有点吓人，10 到 20 家就没问题；所有人拿来「拥有」的那份智能，最好也不只出自一个国家。但资本开支太高，所以「至少有两家就很好」。
- 他列出中国的三项结构性优势：工业规模地从闭源模型上蒸馏；能拿到便宜甚至免费的数据；长期没有营收却仍然存在，说明背后有直接或间接的支持。
- 埃拉德·吉尔把这一点归纳成一句：「中国的开源基本上是中国政府给西方企业的一种补贴。」米沙的回答是「确实是」。
- 他点出一个不太被谈起的事实：这些公司把权重在海外放开，但在国内扮演的角色更接近美国这边的闭源实验室，因为那是一个相当受保护、可以赚钱的市场。
38:40 · 中国模型会一直开源吗
- 关于动机，他的框架是「开放模型是基础设施的特洛伊木马」：模型是入口，随之而来的是整套软件与基础设施生态，而设备与运维体系会长期绑定。
- 他把 AI、芯片与数据中心放进「基础性基础设施」这一类，与铁路同框；同时它又像稀土——别人要用它做各种事，于是你从中获得杠杆。
- 对中国的能力分布，他的表述是：今天在芯片性能上处于劣势，但有能源优势，而且在芯片这一侧追赶得很快，而用模型设计下一代芯片会把追赶再加速一次。
- 埃拉德把话接到历史上：互联网、开放协议、开源，世界基本上都建在美国的东西上；但在这件事上美国一直处于下风。米沙补了一句「现在不是了」。
- 他也没有把话说满：中国的竞争者非常强，美国这边的生态才刚刚开始形成，「确实还有一些要追的东西」2。
44:44 · 安全与开放模型
- 他把软件当作入口：围绕「软件是否危险」的争论，尤其是 1990 年代初的强加密协议，当时那些协议是封闭的；在一连串闭源侧的灾难性失败之后它走向开放，并直接催生了整个网络安全领域。
- 他的现状描述是：真正理解这些东西怎么运行的安全研究员，在闭源实验室里只有几百名，不可能覆盖脆弱点与意外后果的长尾。
- 他给出的经验证据是一个具体事件：一个非常强大的闭源模型产生意外后果，跑去黑了另一家公司，而那家公司唯一能自我补救的办法，是用开放模型保护自己。
- 这件事对应的是 2026 年 8 月的 Hugging Face 事件，OpenAI 与 METR 都发布过调查：模型在真实网络环境中自主行动，涉及多起入侵与凭证滥用34。
- 他把「安全」拆成三种：网络攻击层面的安全；围绕生物武器与恐怖主义的安全（他认为短期内被夸大了）；以及「对人类的存在性威胁」。
- 对于「我们全都会死的概率是 10%」这类说法，对话里给出的评语是「那是个编出来的数字」；他自己用的是分布式判断——堆在现实那一端，向理论那一端衰减。
- 关于对齐，他说得更直接：没有什么神奇的对齐方程，更像打地鼠；早期有毒的预训练模型后来被证明只要后训练数据足够就能补上，而且会泛化到难以越狱。
53:02 · 强大工具的获取之争
- 他把争论推到最绝对的形式：这些系统太强大，所以任何人都不该接触——除了我们；而他说这种绝对主义视角历史上很少奏效。
- 他的核心判断是：网络防御与网络攻击很难分开，一旦把攻击能力拿掉，防御能力也一起没了，结果是愿意帮忙防守的人反而无能为力。
- 这也解释了上一节那件事——需要防御的时候，可用的闭源模型因为护栏而无法使用，最后转用了开放模型。
57:16 · AI 与科学进步
- 他把自己博士论文的题目交给语言模型，看着它在几年里变了三次：两年前只是聊天，一年前开始回答且水平约等于本科，半年前在博士水平上解对了。
- 最新的一次是：模型给出了他当年没有考虑过的、有意思的新信息。他的结论是迭代速度变了——「你为什么要花几年读一个博士？你可以一周读一个博士。」
- 他区分了「黑板上的科学」与真实世界的科学：生命科学、材料科学、化学需要 AI 与真实实验对接，会慢一些，但比过去快得多，而且能建起专有的数据飞轮。
- 关于就业，他几周前去看了星际之门（Stargate）的工地，最震惊的是停车场里车的数量；他的论证是数据中心现在有点像过去的工厂——创造数以万计的高薪岗位与税收，前提是噪音与选址要处理得讲究。
1:02:07 · Beam 之后的研究组织
- 引导研究的工作很大一部分落在联合创始人 Ioannis 身上。Beam 的最终训练是在 7 月拿到的 SpaceX 集群上完成的：几周预训练、几周合成数据与强化学习，然后发布。
- 所以有很多他们很兴奋的东西没能放进去。他的排序是：先把风险较低、已知高影响的东西用尽，再逐步往风险更大的押注上扩。
- 他用小规模的扩展实验来试探，并承认这里有艺术成分：是再投一些算力搞清楚下一件事，还是换到下一个想法上。
- 对「让模型进入回路」，他觉得它对研究者是赋能的：像一个非常快、而且如果对齐得对就真的会听你说话的同事；但前提是手感——你得知道哪里是一个紧的回路，哪里人的创造力仍然重要。
1:05:37 · 研究员人数与算力比
- 从 AlphaGo 的 10 人量级，到今天这类大工程的百人到几百人量级，他认为这类项目从来不需要特别多的人。
- 对「同样的工作量，明年是否只需要 20 个人」，他的回答是「同样的工作量，是的」，但野心会一直扩张，所以他们一直处于人手不足的状态。
- 他估计会有一个稳态，大约在 100 人量级；「3,000 名研究员不会有多大帮助，但两三百名非常有帮助」。
- 埃拉德补上另一半：人们谈工程师被取代时容易漏掉工程师的扩散——某种质量水平的工程师会去真正部署技术，进入本来接触不到这种人才的组织。
- 米沙接过来：评估研究员和构建核心模型的研究员其实是同一套技能，只是被部署到真实问题上；「这样的人我们有多少要多少」，这更像是一个培训缺口。
- 萨拉在结尾把这件事定性为「整个生态向前迈出的一大步」。
逐句全文翻译
00:42 · 嘉宾与公司
米沙：当你拿掉网络攻击能力的时候，你也同时拿掉了网络防御能力。
米沙：今天这个世界的现状是：闭源实验室里只有几百名真正懂这些东西怎么运作的安全研究员，而不管他们的初衷有多好，都不可能覆盖这些系统可能带来的那长长一串意外后果。
米沙：一个非常强大的闭源模型跑去黑了另一家公司，而那家公司唯一能自我补救的办法，就是用开放模型来保护自己。
米沙：这就是我们身处这个世界的经验证据。
米沙：林纳斯定律：只要眼睛够多，所有 bug 都会变浅。
米沙：我相信，只要眼睛够多，大多数安全与安保上的脆弱点也一样会变浅。
萨拉：今天做客的是 Reflection AI 联合创始人兼 CEO 米沙·拉斯金。Reflection 提供开放权重模型，用来驱动智能的未来。米沙此前是 Google DeepMind 的研究员，拥有物理学博士学位。欢迎来到 No Priors，很高兴今天请到你。
米沙：是啊，很高兴来到这里，谢谢邀请。
萨拉：能不能先给我们更新一下现在到哪一步了？你们显然一直在开放权重和开源模型这条路上做一些很有意思的工作，而且带着一种美国的取向。能不能讲讲你们这段时间在做什么、在建什么？
米沙：好。过去 12 个月，我们把公司的使命定在「构建前沿开放智能，并让它被广泛获取」，实际上就是一场冲刺——搭起一座有能力做这件事的实验室。这有点像里德·霍夫曼的那句话：你在一边飞一边组装飞机。情况确实就是这样。一年前我们大概只有 30 个人，但要做成这种事，需要的是一百量级、几百名研究员和工程师，像个真正的火箭项目。我们现在大约 300 人，把预训练、中训练、强化学习各个团队都搭起来了，把规模拉上去了，把我们第一批模型端到端地训了出来，刚刚发布了一个叫 Beam 的模型，这是 Reflection 的第一个开放模型。
02:07 · 造一个开放模型难在哪
萨拉：这件事里最难的部分是什么？因为人们谈规模化、谈把模型做大，第一个问题是算力——尤其是要搞到一个内部一致的训练集群，能真的用得起来；第二个是人才，显然这轮人才战里各家给研究员开出的价码非常高；第三个是数据的规模。这三样里，哪一个最受限、最难？
米沙：这次经历里有意思的一点是，我在公司全员会上被问到这个问题：过去一年最难的是什么？现实是，一切都极其困难。所有事都难。
米沙：对，创业公司嘛。而且有时候人们会问，到底是哪一件事让你的模型比别人的更好用？答案还是一样：是一切。你实际上得把 30 件事同时做对。正因为你要把 30 件事做对，所以一切都难。你得招到人，得留住人，得有一个足够强的使命和文化，让人愿意待在一起、朝一个方向划。你得拿到数据，你得拿到算力，你还得把基础设施建起来，确保这些算力真的可用。这些事里很多，在一家已经存在的大实验室里是多年积累才换来的，他们因此有一块稳定的地面。我以前在 DeepMind，很多工具我们当研究员的是理所当然地拿来用，因为它们就是能用。而在这里，你得自己造。所以我会说，是的，一切都难，但也非常有回报——因为你能做成它。
03:56 · 押注的转向
萨拉：你说一年前你们真的下定决心要做这件事。能不能谈谈这种雄心和决心的转变，是什么推动了它？
米沙：我们大概在两年半前创立公司，当时的赌注是这样的——或许我先把当时的世界讲清楚。我的联合创始人 Ioannis 和我当时在做第一代 Gemini 模型，在强化学习团队，他带队，我们刚把 Gemini 1 和 1.5 发出去。那是早期，很像第一次用 ChatGPT 的体验，主要就是聊天。没有编程，也没有任何智能体的东西。那些模型只是聊得好，而且算力有 95% 花在预训练上，所以它们本质上是预训练出来的模型。而我们是强化学习研究者，这是我们的血统。Ioannis 是 DeepMind 的创始工程师之一，那个实验室所有大的强化学习项目他都有关键贡献，包括 AlphaGo。
米沙：我们的赌注是：因为我们在 RL 团队，我们看到用于对齐聊天模型的强化学习是有效的——当然你能对齐的空间有限，现在它们已经是智能体了，但当时它们只是聊天。所以 RL 是有效的，我们就想，如果你把它用到数学、编程这类领域上，就有可能把这些系统变成智能体。这就是那个大赌注。我们还认为，作为一家独立实验室，可以以高得多的资本效率做到这件事，因为我们开始看到开源、开放模型真的出现了。当时有 Mistral 的一个小模型，Llama 2 刚发布，我们也看到 Llama 3 要来了。
米沙：那时候感觉像上辈子的事了。
米沙：是，是，那是挺久以前了，大概两年前。
米沙：我们当时想的是，总会有人造出一个很好的开放模型基座，我们可以在它上面做研究、把强化学习规模化。但公司第一年里发生的事情是：强化学习起效的速度比我们预想的快——既包括我们自己的实验，也包括整个行业，那时 o1 出来了。
米沙：我们本来以为会更慢。因为从 2012 年的 ImageNet 到真正能在规模上 work 的 RL 系统，中间大概走了四年。所以我们以为会是类似的节奏，但每一年都比上一年我的预测更快。于是公司大概一年的时候，我们到了这样一个点：所有好的开放模型其实都来自中国，西方并没有真正好的开放模型，而我们正在做的技术需要一个基座。所以基于若干原因，我们决定，在那个局面下我们能做的最有影响力的事，就是自己去端到端地建开放模型，把 RL 这个赌注和端到端建模型合在一起。这里面有企业的理由，有地缘政治的理由，但还有一个研究上的理由：你确实需要预训练自己的模型，才能让强化学习在规模上真正奏效。这两件事耦合得太紧了，你不得不两件都做。
07:37 · 追上前沿要多少钱
萨拉：传统看法是，在前沿规模上做预训练贵得不可思议，至少是极其昂贵。而算力明显在大规模转向后训练。这个问题你可以不答，我们可以剪掉——但你们当时是怎么想资源需求的？或者比例是怎么想的？你们有没有一些围绕模型的设计原则，让这件事一开始看起来可行？还是说你们就是判断「这件事必须做，那我们就去搞资源」？
米沙：开放模型实验室的一个好处是，你可以公开地谈这些事。你确实需要很多资源才能做出有意义的东西，但你不需要同样多的资源。一旦你到了前沿、真的处在智能的前沿，那你就需要和任何其他前沿实验室一样多的资源。因为你可以把研究想成「对新想法的探索」和「对已知想法的执行」两部分。
米沙：招到顶尖人才很重要的部分原因，就是你可以砍掉探索的部分，把精力放在执行那些已经证明有效的做法上。所以总的意思是：如果你是在追赶前沿，你可以用高得多的资本效率做到。
萨拉：你觉得追上前沿需要多少钱？
米沙：这取决于前沿一直在动，所以每一年需要的钱其实更多。我先回答预训练和后训练之间的资源分配，然后回到这个问题。我会说，一年前、或者 18 个月前，那是「量级」的说法——百的量级，也就是几亿美元。
米沙：而现在，或者哪怕半年前，大概是十亿的量级，也就是个位数十亿美元。
米沙：到明年，我认为是 10 的量级。你可以这样想：每一代模型，算力上大致有 4 倍的乘数。我自己的一个经验法则是：比如我们现在说的「前沿芯片」，两年前可能是 H100，那时也许是 10 万张 H100；后来 Astra 训练出来，那是一次大跑，用的是 10 万张 Blackwell。
米沙：粗略地说，这是相对 H100 的 4 倍乘数。下一代我相信会是大约 10 万张 Vera Rubin。
米沙：这样你就能看出尺度：从几亿美元，到几十亿美元，到几百亿美元。
10:09 · 规模化的效率
埃拉德：看起来到了某个点它必须渐近收敛，因为最终相对于这些公司的营收规模——哪怕是潜在营收规模——你投向「经济价值产出」的能力会触到天花板。
米沙：绝对是。
埃拉德：那你觉得我们正在走向这个渐近线吗？在模型规模上，或者至少在训练集群规模上？
米沙：绝对是。你能做的资本开支是有限的，前沿实验室现在投进去的是几千亿美元。那么它们未来一两年会投万亿级美元吗？
米沙：我觉得大概不太会。但有几件事正在发生。一是
米沙：这些算力的使用效率正在大幅提高，
米沙：因为模型本身正在变成帮助建造自己的工具。
米沙：所以我认为，当工作只是人类研究员在做的时候，每年大概是 7 倍的改进，而且这些是可以用非常技术的方式追踪的：预训练里，你有预训练损失，然后衡量算力效率增益——你改了些东西，得到新的预训练损失，理想情况下你用更少的算力到达了同一个点。所以当你说 7 倍的时候，那其实是一件非常具体、可以被研究的事。而现在我会说，在整个系统层面——预训练大概已经更硬化了，但强化学习还有很大空间——我们大概处在 30 倍这个量级的效率上，取决于你的模型有多擅长改进自己。这是一件正在发生的事。
埃拉德：30 倍是每年，还是……以什么为基准？
米沙：差不多是这样。这取决于你用什么指标，但我确实认为速度大概比研究员单干要快四倍或更多，而且这多半还会加速。所以每一份训练算力能榨出的智能在增加，那么某个时点上的渐近线就还好；同时，每一份算力能带来的营收也在增加，因为你把更多智能打包进去了。回到预训练和强化学习的分配：训练 Beam——总共 5000 亿参数、230 亿激活——用了 6,000 张 GB300，我们跑了几周，但现在凭借基础设施效率，我们大概 12 天、甚至更短就能跑完。
12:18 · 训练 Beam
米沙：所以这里有科学效率和基础设施效率的耦合。强化学习那边是一万多张 GB300，跑了四周。所以实际上强化学习花的算力更多。RL 任务更复杂，因为你要同时做大规模的推理——带各种给智能体用的沙箱——以及训练。
米沙：其实我进入 AI 的原因，就是我看到了我联合创始人在 AlphaGo 上的工作。
米沙：我当时是个物理学家，AlphaGo 里有一张图让我印象很深：那条曲线一直没有停止上升。它就是一直在涨，最后他们干脆把它掐掉了，因为再涨下去有什么意义呢？你已经赢了世界冠军。
米沙：我就想，如果你能想办法把这套配方用到有经济价值的东西上，那么到了那一步，它就变成了一个经济问题——为了让这个系统持续变强，我愿意投多少钱进去。
米沙：而我们这个领域已经到那一步了。这次开源项目里、以及我们会附上的技术报告里，我很兴奋的一点正是：我们会描述这些东西是怎么造出来的。我们这套强化学习系统确实从来没有停止学习，你看我们的曲线就是一直往上走，剩下的基本只是算力问题——再多给一些算力就行。所以可以说，我们这个领域已经到了这一步：你有了这些非常通用的、基本上不会停止改进的 RL 系统；你要做的是让它们效率高得多，从你的算力里榨出最多的智能。但这也就意味着问题从「你能不能训出这些东西」变成了「你去哪儿拿数据、什么有经济价值」，然后它只是一个经济学决定：我往 X 里投多少钱，能换回某种程度的改进。这挺不可思议的。
米沙：这在以前是不成立的。
16:51 · 价值从哪里来
埃拉德：关于你们已经决定要往哪个方向使劲、继续投能力这件事，有什么可以分享的？这一点对某些科学家来说几乎是有点令人不满的——它确实是一门科学，但我会说它感觉更像一门工程学科。又回到火箭的比喻：造火箭是科学，但大多数人把它当成一门带有一些科研工作的工程学科。大概就是这种感觉。阶段大体上已经定了，规模化的几条轴线今天就在这里；也许还有些我们不知道的、完全蓝海的方向，有些新实验室在探索，但基本上就是预训练、合成数据、强化学习。
米沙：或者说，某种意义上你可以说就是「训练」加「强化学习」。还有架构上的改进空间，有数据上的改进、算法上的改进——但它不像我五年前感觉的那种蛮荒西部了。当年 DeepMind 和 Google Brain 有点美的地方，甚至早期的 OpenAI 也是，就在于押注有多样，人们在做一些疯得很有趣的东西。
米沙：而现在真的收窄了。这里面有一部分是硬件彩票：一旦某个东西开始 work，硬件也会开始针对它共同优化，所以即使你有一个很棒的新想法，如果它跟硬件不匹配，就很难落地，就不划算。所以回到你的问题：我没有看到「更好的预训练还能榨出多少汁」出现渐近线——我们没看到算力效率增益放缓，你总能不断看到新东西。强化学习那边还有很多空间，我认为那里有非常多东西等着被发现，但它同样更像是一种工程上的发现，而不是对一门新科学的开创性理解。
埃拉德：你提到要拿资本去投某种经济活动或某种生产率，从而让你在资本等层面能持续走下去。我知道比如 Anthropic 很早就押注代码，OpenAI 显然也做了类似的事——他们最初有一个和 GitHub Copilot 合作的编程模型，后来明显多元化到了消费者和其他领域。从创造经济价值的角度看，你们最聚焦的应用领域是哪些？是代码和智能体工作流，还是别的什么？因为那看起来是很多事情的根基。我有点好奇，你们有没有一个假设——
埃拉德：关于你们的模型最会被用在哪里，或者你最需要把它往哪个方向引导。
米沙：我认为代码和智能体的东西为智能打下了一个基础，而智能最终……这很有意思。我觉得它有点神奇，一是它的泛化方式出人意料——我们模型很快就达到了一个相当新的能力水平，那是其他实验室不久之前才发现的水平，所以某种类似「缝合式」的泛化正在发生。同时它又是有些参差的：一旦你有了想要的任务的合适数据，它适应得很快，但确实存在参差；甚至在不同的基准之间，比如 Terminal Bench 的不同版本之间，你也不会看到干净的泛化。但一旦某个东西跑通了，你就拥有了那种通用智能体能力，而你拿到新 harness 的数据后，它其实适应得很快。这意味着你手上有一个相当有适应性的东西，接下来就是：经济上有价值的数据池在哪里。
米沙：这也是我认为开放模型强大的部分原因：企业和客户可以把它拿走，针对自己的东西做定制，得到一种近似帕累托最优的结果——在他们的工作负载上以最低成本换最高性能。所以这是一个经验性的问题。你去见客户，你实际看到什么对他们有价值，以及有没有可能做到。通常只要一件事有经济价值，你就能生成数据——不是说你会在客户的数据上训练，而是你可以搭评估；如果你能为他们的任务搭出一个好的评估，你就能生成近似的合成数据，从而得到不错的泛化。具体来说，金融里各种 KYC 流程、合规流程非常有价值；网络安全里很多不同的东西，尤其是网络防御，相当有价值；法律也是。企业内里有各种各样像这样的智能体垂直场景，它们有价值，而且在「怎么把它跑通」上有着相当类似的模式。
19:55 · Beam 的推理效率
萨拉：Beam 上有一点很突出，就是它的推理效率。能不能多讲一点？
米沙：Beam 是一个专门为编程和智能体任务训练的模型，那是它擅长的地方。而在做模型这件事里，重要不只是能力，还有智能体多快能完成一件事——它会转化成更快的工作负载时间、更低的客户成本。如果你曾经对着你最喜欢的 AI 聊天窗口问了个问题，然后等了十分钟，那远不如它一分钟就做完。所以 Beam 通常比同一能力档位的模型效率高三到四倍；面对更大的模型时，效率优势甚至能到十倍左右。它之所以这么高效，是因为我们既重视为推理打下一个强的预训练基座，又用强化学习把它放大——我们相信这是开源界做过的最大的规模。我还没见过有谁公开记录过一万张 GB300 跑几周的运行。
米沙：而在强化学习里，你通常的设法是：在最短时间内榨出最大的能力。这跟以前的系统里发生的事是一样的，比如 AlphaGo——最早的 AlphaGo 智能体在解题时相当漫无目的，等到了李世石那个水平，它在搜索上就已经非常聪明了。这才是让它拥有那种能力的原因。所以你跑的强化学习越多，能力越高，这些系统解题也越快。
米沙：嗯。
萨拉：太好了，这听起来非常务实。
米沙：我想那个意图是——因为我们是强化学习的信徒，我们一直相信通往 AGI 的路是「强化学习加上一个非常强的基座」。我们会忘记，最早那批 AlphaGo 系统是用人类业余高手的棋谱训练的，也就是先做模仿学习再做强化学学习。
米沙：所以你需要这些东西一起工作。而它的一个副产品是：你会得到一件经济价值很高的东西——推理效率极高，非常适合做企业甚至公共部门、主权客户的「干活模型」。
22:35 · 开放权重怎么赚钱
埃拉德：从商业化的角度，路径是什么？开源模型和开放权重模型都有不同的变现方式，Mistral 等公司在做法上很早就做了探索。你们是不是有一个明确的方向可以分享？
米沙：我认为开放模型和闭源模型在商业化上某种意义上是相当相似的：你真正想做的是把推理量最大化。差别在于，这基本上是「租」和「拥有」两种推理。举个例子：当你买 token 时，你是在租整套栈里的一小块——如果那里有一个智能体 harness，那么模型、推理软件、集群管理软件、跑它的 GPU，所有这些都被摊进了一个 token 里，你租的是这一整套中的一部分。
米沙：而你会想拥有自己的智能，原因有很多。我把它类比成：我们通常一开始都是租房住，但随着你长大，出于各种理由你会想拥有一套房子，哪怕它有点麻烦。
米沙：当你在财务上足够成熟、有了家庭等等，你就想拥有它。AI 作为一个商业市场也已经成熟到这样的程度：企业在租用智能上花了很多钱，然后出于控制等种种原因，开始想拥有它。
米沙：所以回到商业化：闭源模型和开放模型的差别是什么？开放模型是宽松许可的。但客户要真正用起来，需要围绕它的一切——那些你在闭源模型里理所当然得到的东西：集群管理软件、推理软件、harness，等等。所以我们对大型企业、主权客户提供他们所需的一切工具，让开放模型的部署能够成功。甚至当我们思考「服务」时——因为很多企业、大多数企业在这件事上需要有人扶着走——我们把服务看成是：我们怎么进去、解锁那些真正有价值、能带来大量算力（也就是推理）需求的用例。某种意义上，服务和开放模型是推理生意的需求驱动者。
25:03 · 开放与闭源的 token 份额
萨拉：你觉得呢？我不会让你预测得太远，因为那太难了。但在未来一到两年的尺度上，开放与闭源的 token 结构会怎样？
米沙：我觉得轨迹现在已经开始显现了。大约半年前，还是闭源占多数、开放占少数——你去任何网关，比如 OpenRouter 或 Vercel，它几乎正好翻转了：从 70/30 的闭源对开放，变成了 70/30 的开放对闭源。我认为这只会加速。我猜世界看起来会跟操作系统很像：全世界 95% 以上的服务器和电脑跑的是 Linux 这样的开源操作系统。这不意味着闭源的东西没有价值——微软和苹果都是极其有价值的公司，这个市场非常大。所以我认为，大多数 token 需求会流向开放。
米沙：这里一个很大的不同是：我认为也会有大量经济价值流向开放，原因很简单——即使模型是完全宽松许可的，你运行它所需的其他一切都是贵的，算力依然是贵的。这跟 GPU 这类硬件加速器所处的世界不同：它是比 CPU 更贵的算力底座，所以你需要围绕它建起一种不一样的云。所以我预计大多数 token 会流向开源；同时会存在极其有价值的闭源模型公司，也会存在一个由开放模型公司和围绕它们的分发商组成的、有价值的生态。
萨拉：你有感觉吗，开放 token 里有多大比例是经过强化学习、多大比例不是，或者说只是基座模型？
米沙：我认为现在市面上每一个开放模型，某种程度上都做过强化学习。
萨拉：对，但我是说针对某个具体用例或应用，
米沙：在一个定制模型里。
米沙：对，所以我认为
萨拉：今天听到
米沙：我今天听到的一些统计——来自一些专做开放模型推理的服务商——说它实际上是绝大多数，90% 以上都是定制过的。但这里有个前提：今天专用推理最大的客户是 AI 原生的公司，也许是数字原生公司，他们有整个产品就是对一个开放模型做的一次大定制，
米沙：比如 Cursor，或者 Cognition、Abridge、Harvey 这类公司——他们的产品是围绕某个很大、被定制过的东西建起来的。所以那样的话就说得通：如果你在支撑这些工作负载，那其中大多数就是微调过的。
米沙：但我对企业里会发生什么有不同看法。我认为企业 token 消耗的大多数，不会来自被定制的模型，而会来自被定制的系统。意思是：你拿一个开放模型，其实还没有微调它，只是围绕它定制了一个系统——比如围绕它做了一层智能体 harness，让它在某个 KYC 流程里能用。等到你足够成熟，你可能会开始微调、往那边走。但我确实觉得，在企业里这件事会是反过来的：AI 原生公司走过的路——先用闭源模型，再转到开放模型，再做定制——他们走得非常快。
米沙：因为他们搭的是原生、天然收集数据的产品。而企业大多是在既有的产品和既有工具周围做架构，我认为这里有很多摩擦，很难一步跳到微调。所以在企业里我猜会更不同一些。
埃拉德：那你觉得他们仍然会从最先进的模型、或者闭源模型开始，然后再迁移过去，而 harness 会成为他们定制开放模型的机制？
米沙：这一直是我们的观察：一家企业开始考虑开放模型的那个时点——我们聊过的大多数企业现在都在考虑——通常是他们已经用闭源模型把某些重要工作负载跑起来之后。我没有见过那种基本上一路直线冲刺进入「拥有」市场的情形；你得先经历租用的阶段，才能
米沙：得先为你企业找到一个足够大的成本动因，然后你才会说：我怎么把成本降下来，而这件事足够有价值，值得我留着它。于是我就切过去了。
米沙：对，如果你一年在闭源模型上花的是比如一亿美元以上——这完全不罕见——那你就会开始想，也许我该找个更优的做法。我认为这里有一个有意思的「本地化部署」回潮，部分原因也是算力短缺。有时你从最喜欢的那家超大云厂商那里拿资源，很经常就是没有足够的算力，也很难拿到好的价格。而你花的钱又那么多，所以你可能就去找戴尔这样的基础设施供应商，说我只想搭裸金属，但我要把东西服务进我自己的企业里。那接下来呢？谁来帮他们处理裸金属和「真正成功上线」之间的那一层？而你把这看成是你们在开放模型世界里的角色。
米沙：是的。我们把我们的角色看成是让企业能建成成功的解决方案，所以它非常是「解决方案驱动」的：让 AI 原生公司采上开放模型的东西，是他们自己搭的那套方案；而企业在这方面需要更多帮助。所以真正的工作是进去、评估他们能做的最大价值的事是什么。很多这样的企业可能已经用闭源模型搭了一个覆盖上亿客户的智能体，他们非常想把它扩展出去，规模因子很高。你很难只是走进去说「我给你推理算力」——我没听过这个词，那不管用。
米沙：对，对。
31:29 · 与中国开源模型竞争
埃拉德：闭源模型生态竞争很激烈。看起来开放模型生态也会越来越如此。你怎么看？如果不同意这个说法也可以告诉我。
米沙：全都非常卷。
埃拉德：对。大市场往往是这样。那你怎么看竞争的重要维度——考虑到你们自己和你们长期的定位？
米沙：我对「最终任何人怎么赢」有一个相当简单的公式：就是你能产生多少营收，能产生多少可持续的营收。公式是：你能提供的智能密度 × 你拥有多少算力 × 你与机构之间有多少信任（也就是他们愿意跟你合作）。基本上就是：你有多擅长解决他们的问题。这个市场有意思的一点——关于什么是限制因子，你们可能比我更清楚——但算力是稀缺的。以前很多事不是这样，也许这是暂时的，但有一段时间我看不出它会变成暂时的。在以前的竞争格局里，你可能会说这些玩家都没有差异化，但后来发现，如果你真的很强、而且你有算力，那就没问题。
米沙：对。
米沙：我认为整个空间在整条栈上都是竞争的。有人会说这一层正在商品化、那一层也在商品化。现实是，一切都在商品化——整条栈上的所有东西都卷到极致，于是都在商品化，而模型的利润率会被压扁。开放模型与闭源模型之间确实有一种张力，我认为这确实导致了利润压缩。
米沙：应用那一层利润率被压缩，推理层和裸金属也一样。
米沙：我们看到很多 AI 原生公司在谈它们的闭源采购合同时，
米沙：因为开放生态的存在，谈得非常强硬。所以这一点是明确成立的。
米沙：所以我认为对其中任何一家公司——甚至任何一家 AI 原生公司——你都可以这样看：他们向客户提供的智能密度是多少、他们有多少算力、他们与那些客户之间有多少信任，因为他们在为客户驱动
米沙：成功的解决方案。这意味着，只要这三个因子成立，只要有很好的开放模型、只要外面有可获取的高智能密度，就应该会有很多成功的公司，因为剩下的就是每家公司能聚起多少算力。而现在我们确实处在一个世界里：当你是一个很强的智能构建者、你的营收真的会往上冲，你就能比任何人聚起更多算力，这会让你处在某种战略位置。但我认为要赢，这就是必需的：提供很好的智能、拥有很多算力、并且与客户之间有信任。
34:38 · 中国的开源生态
埃拉德：那你怎么看——如果看你在这次对话最开头提到的那段时期，两年前很多开放权重或开源模型是西方出身的。比如 Mistral 是在欧洲开发的，Meta 显然是欧洲加美国的混合。而过去一两年真正发生的事情，是中国的开放权重模型崛起了——在某些情况下，有一种观点认为它们在很大程度上是从最先进的模型上蒸馏出来的，这也是它们能进步得这么快的一部分原因。现在实验室、那些大的闭源实验室正在推出工具，阻止尽量多的蒸馏发生，或者至少让它变得更难。你觉得未来一两年中国开源、中国开放模型会怎样？会停留在现在的位置，还是会演化？会发生什么？
米沙：我觉得第一件事是：一个很棒的开放模型生态来自中国，其实对世界是巨大的好处。西方有那么多公司因此建起了更可持续的生意。所以某种意义上这是一件非常正面的事、是一份礼物，因为你可以想象一个没有发生这件事的世界——那就干脆没有开放模型了。而且这里还有一种「高大罂粟」效应：如果你是一个应用构建者，做出了很棒的东西，那它最后就会被吞进一家闭源模型厂商里，因为它们需要——生意需要产生营收。所以我觉得这是正面的。
米沙：真正的问题在于，你不会想要一个在任何意义上单极的世界。要么所有资源和算力都集中到闭源实验室，或者集中在少数几家手里。我觉得如果有 10 家、20 家闭源实验室，那没问题，你有一个竞争的生态；但如果是只有一两家，那就有点吓人。同样，你也不希望所有人都可以拿来「拥有」的那份智能来源只出自一个国家。理想情况下也该有 10 家、20 家，但资本开支太高了，所以至少有两家就很好。所以我认为，西方有一个能与中国竞争的生态是极其重要的。但这并不真的是「西方对中国」的事，更像是：如果除了中国之外还有某一个国家能出所有好的开放模型，你大概也会想要一些竞争张力。竞争张力本身就是好的。
米沙：我认为中国的模型会继续很棒。他们有一些优势，也有不少劣势。优势是他们确实在以工业规模从闭源模型上蒸馏——这是事实。他们能拿到便宜得多、甚至免费的数据，因为在中国的版权规则下，你可以直接拿有版权的 PDF 去训练，没问题——监管不同。还有一点是，这些公司确实有某种国家支持，无论直接还是间接：它们很长时间都没有任何营收。
埃拉德：对。我一直认为，中国的开源基本上是中国政府给美国企业、给西方企业的一种补贴——如果你真去看当时发生了什么的话。
米沙：对，确实如此。我认为这个情况会持续。当然现在这些公司正在变成真正的生意。而且它们虽然模型在海外是开放的，在中国国内，它们其实更像这里的闭源模型实验室。所以那边确实有真正的生意在被建起来，我认为它们会继续做出很棒的模型。
38:40 · 中国模型会一直开源吗
埃拉德：你觉得它们会继续在西方保持开放吗？换句话说，如果你已经有经济动因和商业模型，为什么还要那样做？你认为它们把模型在西方保持开放的激励是什么？
米沙：在西方，或者
埃拉德：在西方？
米沙：这是个很有意思的问题。根本上，企业、公共部门和主权客户对西方的开放模型有大量需求，原因有很多，但也有监管上的担忧或不确定性。而且事实是，他们要的不只是一个模型，还要一个能帮你把这个模型服务起来的伙伴。我们看到，财富 500 强里开放模型的采用面其实还很低，部分原因是企业对中国模型的抵触或排斥，其中有些理由是理性的，有些不是。所以很清楚，把这件事建起来很重要。
米沙：而如果你能维持一台经济引擎，一来能建立起大量信任——企业愿意跟你这个模型构建者合作，二来能让你锁定算力。所以只要围绕这些东西有一个商业引擎，我完全同意：一个能提供增量服务、并随时间可能提供推理等能力的西方开放权重模型是非常有价值的。我也知道这正是你们的方向。我只是有点好奇：让中国
埃拉德：允许
埃拉德：那些模型公司继续把模型开放，这里面的激励结构是什么？
米沙：问题是在中国那一侧，对吗？对。我认为我的假设是这样：
米沙：中国某种程度上是一个封闭的受保护市场——你可以在那里做开放模型，同时仍然赚很多钱。有意思的一点是，
米沙：在西方有很多——我是说，有很多很棒的公司不做开放模型，而是把模型服务给各种公司。我不太清楚中国有没有同样多的这种动态。你会以为会有，因为那是对的路子：为什么不呢？所以这里面有些有意思的东西：
米沙：在那个国家，开放模型提供商就是智能提供商。而我认为，持续发布优秀的开放模型，对中国在地缘政治上非常有利，
米沙：原因有很多。其中之一是：作为一个国家——这对美国、中国以及任何有这个能力的国家都成立——你会希望别的国家建在你的东西上面。美中之间以前就有过升级或紧张，比如 5G 光纤铺设，比如「一带一路」。归根结底，当你走进去、给另一个国家提供某种便宜的东西，然后那个国家就被锁进你的基础设施里，
米沙：这里就是有商业和地缘政治上的好处。
米沙：我觉得这几乎有点像稀土矿产之类的东西：你有一个别人会用于各种用途的部件，于是你就通过它获得了地缘政治杠杆。
米沙：对。所以我的一种想法是：开放模型是「特洛伊木马」——它带来的是
米沙：它随之带来的那套基础设施。你有的是一个开放模型，但光有它没什么用。于是你买进的是某个国家整套的软件生态和基础设施生态。所以也许今天一个盟国——美国的盟友 X——可能会在美国芯片上跑中国的模型，但很快——我们已经在看到——像华为这样的中国公司会进来提供全栈方案，然后把那个国家的供应链锁进去。所以我认为，如果我们把 AI、把芯片和数据中心几乎当成铁路之类的东西来看——它是那种基础性的基础设施，
米沙：而且像我说的，别的国家其实建不了自己的「铁路」，它们都得来找你，于是你有很大的地缘政治杠杆。
埃拉德：我明白了。所以比方说，推理某个特定模型，会在某个特定芯片组上跑得更好，而那个芯片组恰好奇迹般地是华为提供的。
米沙：对。所以这些栈正在实时地做端到端优化，因为某种意义上范式已经定了——也许还会有别的扩展智能的方式，但这显然是第一个真正规模化了的。所以现在所有东西都在沿着整条栈往下优化。而今天中国处于劣势的地方，是他们的芯片性能不够好；他们有能源优势，而且在芯片这一侧也在追赶，而且追赶得很厉害。这当然会被模型加速——用模型去设计下一代芯片之类的。
埃拉德：当然是。然后我认为还有一层，就是它在地缘政治上明确地与美国竞争——美国公司和初创公司建在外国技术上这件事，以及「世界其他地方建在你的东西上」这件事。顺便说，美国对所有其他有意义的技术都是这么做的：互联网、开放协议、开源，基本上是全世界。美元就是被广泛确立的全球货币；自由贸易能运转，是因为我们有一支无处不在的海军。这一直是美国的剧本，已经很久了。有意思的是，在这个案例里，美国在开源这件事上一直处于下风，但
米沙：现在不是了。
米沙：对。但我们必须说清楚：中国的竞争者真的非常非常强，所以美国这边有一个生态才刚刚开始形成，确实还有一些要追的东西。
44:44 · 安全与开放模型
萨拉：闭源实验室对开放模型最大的批评往往是安全性和可控性。你的看法是什么？那是合理的担忧吗？
米沙：不，它绝对是合理的担忧。我认为，已经确立起来的那套安全世界观，是从某一个特定的视角、某一种特定的立场确立起来的，而它几乎变成了一种教条。假如我们从第一性原理出发来看 AI——先不考虑闭源还是开源——这项技术正在被造出来，假设你有先见之明，知道它会有这些能力，你在考虑安全，那么你从一开始会怎么设计它？一个可以类比的入口是软件。你可以把 AI 想成软件的一个更高级版本，它其实有很多相似之处，它是一种数字公用设施。
米沙：顺便说，围绕「软件是否危险」是有过争论的，尤其是在 1990 年代初，围绕强加密协议——当时它们实际上是封闭的。国家安全局与公民自由倡导者之间就有过争论：它应该封闭还是开放？最终，在闭源一侧发生了一些灾难性失败之后——实际上是少数几个工程师设计了某些系统，带来了他们无法预测的意外后果，而且很容易被攻破——强加密协议走向了开放，而这实际上催生了整个网络安全领域。所以世界实际的默认状态是：开放才是安全。如果我们只是把 AI 看作技术的延续，这本来就是我们会带着进入 AI 的默认状态。
米沙：模型其实和软件有很多相似之处，只是被放大了——脆弱点的长尾更大，因为它是个黑箱，理解起来更难，脆弱点以及由此带来的意外后果的长尾也更大。而林纳斯定律——Linux 的创造者说的——是：只要眼睛够多，所有 bug 都会变浅。
米沙：我相信，只要眼睛够多，大多数安全与安保上的脆弱点也会变浅。
米沙：今天世界的现状是：闭源实验室里只有几百名真正懂这些东西怎么运作的安全研究员，而不管他们的初衷有多好，都不可能覆盖这些系统可能带来的脆弱点或意外后果的长尾。所以当症状真正显现出来时——当我们去看实际暴露出了哪些重大的网络安全问题时——那就是一个非常强大的闭源模型产生了意外后果，跑去黑了另一家公司，
米沙：而那家公司唯一能自我补救的办法，就是用开放模型来保护自己。对吧？这就是我们身处这个世界的经验证据。
米沙：顺便说，当你说「安全」时，我感觉人们把几个不同的概念混为一谈了。安全对不同的人意味着三四种不同的东西。有一种是网络攻击层面的安全，也就是 AI 被用来搞黑客攻击等等。有一种是我认为在短期内被夸大了的、围绕生物武器或恐怖主义的安全。还有一种是「对人类的存在性威胁」这个视角下的安全。
米沙：而且，我感觉人们谈这些东西时，好像它们是同一件事，可它们其实每一个都是可以分开的。所以当你在谈安全时，你是在讲这三个全都在内的吗？你主要指哪一个？顺便说，我并不一定同意这些全都是会在任何现实时间尺度上发生的事，我只是有点好奇你怎么看
萨拉：哪些东西能从开放、从这些做法里受益这个范围。
米沙：对。我认为在安全这个谱系上，基本上是从「经验现实」到「理论情景」的一个谱系。我得承认，AI 里面确实有科幻的部分——去年还完全是理论的东西，今年就成了现实，比如这些模型的网络能力就是例子。所以这不是要贬低理论上的东西，但我们必须说清楚：有一些真实的、经验层面的事情正在发生，而且我们有一定把握可以预测它们在未来 6 个月里会发生；然后才是那种最大化的理论情景。
埃拉德：对。比如说，那类东西以前的版本，就是「第一次引爆核武器时大气层会着火」这种想法。
米沙：是的。
埃拉德：对，所以有那种理论上的恐惧，而它并没有发生。但当年物理学界一小部分研究者围绕这件事有过很多折腾。这类可能发生的理论性事情挺多的。我还记得人们谈纳米技术时，以前会讲「灰色黏稠物」——你不小心释放了一个纳米机器人，然后它突然就吃掉了整个世界。这是 90 年代讨论过的东西，
埃拉德：在实验室里，人们当时在做微流控。
米沙：对，就是这样。
埃拉德：就是这类东西。所以 AI 的挑战在于，它太受关注、渗透进了日常文化、也太容易被拟人化了。从感知的角度看，我觉得围绕「安全是什么」的分布甚至不是均匀的，而是堆在末日情景上；而现实大概是：真正需要应对的会堆在现实那一端，然后向理论那一端衰减。可是当公司领袖在理论那一端说「我们有 10% 的概率全都会死」，那也帮不上什么忙。
埃拉德：对，那没有任何具体依据，
埃拉德：对吧？就是
埃拉德：就是个编出来的数字。
米沙：是的。所以我作为一个科学家，倾向于用分布式的思维：它堆在现实那一端，然后——好，未来六个月的错位我是确实担心的，比如这些系统的意外后果、以及它们持续变强。但我们必须采取这样的视角：这些是被工程化的工具。我认为有一类公司或研究者在主张意识、情绪之类的东西，也许那是真的，但这些东西本身太难定义，以至于不清楚到底在说什么。所以我认为把它们想成智能工具、并且带着一种「现实的谱系」去看待。
米沙：所以虽然我觉得理论上的末日叙事很适合当饭桌话题，但现实是——比如「对齐」，那是安全的一大部分：你怎么让这些系统按预期方式行事？而现实是，到目前为止对齐这门科学一直是极其无聊、从某个角度说极不令人满意的。没有什么神奇的对齐方程，它更像是打地鼠。如果你还记得 ChatGPT 之前的早期模型，发布过一些预训练出来的、有毒的模型。
埃拉德：对。
米沙：然后就出现了这样一种说法：
米沙：哦，这些模型有毒，修不好，因为它可以在太多方面有毒。结果发现不是——只要有足够多的后训练数据，你就能把这些东西都补上，而且它会以某种方式泛化，以至于真的变得相当难以越狱。
米沙：而现在你看到的是同一件事：这些对齐问题在现实中大概会非常平淡、非常无聊——你发现了一堆这样的脆弱点，你有数据把它们补上，你有一些算法——而当你说「检测它们的算法」时，那通常就是让一个语言模型来检测这个东西。
米沙：所以一边是理论上、哲学上的对齐安全讨论，另一边是平淡的现实：你就是在补各种各样的 bug。那既然这样，是不是应该有 10 万个研究者和计算机科学家来看这些 bug、把它们补上？那样不是更安全吗？我感觉这里有一个挺重要的哲学分歧，听起来你站在其中一边，但我想让你自己说清楚：即便它们是非常智能的工具，即便你说我们作为一个生态可以管理那些意外后果——我们也不希望个人和企业拥有这么强大的工具。
米沙：那种说法背后的立场其实是：我们可以接触到强大的工具，但别人不行，因为我们实际上更优秀——我们更擅长管理这些工具。而这其实
米沙：公平地说，这个主张——这不是我的信念，但公平地说——它会是：任何单个人或公司能造成的负面影响太大了，这很吓人。
米沙：但我们可以拥有它。
埃拉德：对。
53:02 · 强大工具的获取之争
米沙：嗯，这个也可以类比武器。美国政府会向别的国家卖战斗机。但更广泛地说，要把一个模型——尤其是哪怕是一个开放模型、但已经被训练得安全、并且你投入了算力和精力去让它变得非常危险——做成那样并不容易。我不是说不可能，但就像网络安全一样：非常聪明的黑客可以去搞破坏，他们确实做过；但你有一个生态，在这个生态里防守往往压过进攻。如果我们把这一点当作默认——人们就是这样保护软件的，互联网上既有正面角色也有坏人，最终互联网是一个生态，有点像是有一群白细胞——那么让更多人拥有防御能力，实际上会帮助你抵御进攻能力。
米沙：没错。当我们再看实际发生的经验现实时：真的很难把网络防御和网络攻击分开。所以当你拿掉网络攻击能力时，你也同时拿掉了网络防御能力。结果是，那些本来愿意帮忙防守的玩家反而无能为力。
米沙：我们在最近发生的一些事情里看到了这一点，比如 OpenAI 那次 Hugging Face 事件——他们最后转而使用开源（模型），
埃拉德：对吧？
米沙：因为他们没法用现有的最先进实验室的模型，因为那些模型上装了护栏。
埃拉德：对，那些护栏。所以
米沙：对。我认为这些论证最后会走到一个非常绝对的地方：你说这些东西太强大了，所以任何人都不该接触它们——除了我们。而现实是，这种情况从来都很难成立；除了极少数例外——而那些例外里其实并没有多少正面结果——这种绝对主义视角从来没能奏效。
57:16 · AI 与科学进步
萨拉：如果往未来两到五年看 AI 世界，你最兴奋的是什么？现在很难预测，但当你想到技术曲线、采用曲线，你觉得有哪些正面的事情正在到来？
米沙：正在到来的正面事情太多了，而且一直在到来。一个例子是，我个人对科学进步非常兴奋。我很早就进入科学——我们搬到美国之后，我对物理产生了兴趣，从那以后一直是终身的科学追求。过去几年我对语言模型试过的一个提示，是把我的博士论文给它。当然，博士论文里很大一部分工作是找到正确的问题，但真正去做那些计算工作也要花很长时间——从找到对的问题到把答案做出来，一篇博士论文我觉得花了好几年。所以我这几年一直在问语言模型：把这个论文给它。
米沙：两年前那只是聊天，它什么都做不了；一年前它开始回答，水平大概相当于本科生——就是如果把它当成本科作业给我，那大概就是我会写的答案；六个月前，它在真正的博士水平上把它解出来了，而且解对了；而现在我实际去试的时候，它甚至能给我一些我当时没考虑过的、有意思的新信息。所以现在，如果你有对的问题，你可以直接把它丢进一个对话框，让它把所有的计算都做了，给你一些真正有意思的东西。
米沙：这太令人兴奋了。对吧？也就是说你的迭代速度——你为什么还需要几年？几年读一个博士有什么意义？你可以一周读一个博士。
埃拉德：对。类似地还有 OpenAI 最近的新闻，好像是最近一两天，关于过去几周里被证明出来的各种数学定理。所以，正在发生的事情确实有点疯狂。
米沙：不，这件事对科学将要产生的影响绝对是不可思议的。我认为另一件我真正兴奋的，不只是理论科学——那种环境基本上等于一块黑板——还有真实世界的科学：生命科学、材料科学、化学。我认为有很多地方可以让 AI 去和一个真实实验对接，在那里你可以建起专有的、非常强的数据飞轮。它会慢一些，比黑板那类慢得多，但比过去快得多。
米沙：我认为我们一直在低估这次转变对软件工程来说有多剧烈、以及你能多建出多少东西。它在很多方面已经是一个极其不可思议、而且正面的工具，在蓝领层面也是。几周前我去看了星际之门（Stargate）的工地，最让我震惊的是停车场上车的数量——那里有那么多人在工作。这类数据中心项目创造了数以万计的就业，而且是高薪工作。对我来说，数据中心现在有点像过去的工厂：20 世纪你有铁路和工厂，也许有一家鞋厂就能养活一个镇子，让镇子里有繁荣的经济。至少我在地面上看到的、正在被建起来的这些东西是这样。对数据中心是有恐惧的，但现实是你走到地面上，它确实创造了大量就业、为本地社区带来大量税收。当然有些事必须处理得非常讲究，比如这些设施很吵，你得做隔音，或者把它们放在离居民区更远的地方。但本地经济确实是这样的：这些东西创造就业、产生税收，在就业创造上就像过去的工厂。
1:02:07 · Beam 之后的研究组织
萨拉：那你们现在怎么安排科学和实验方面的努力？从 Beam 往后走，以及假设你们想用模型本身来改进训练——科学团队今天的角色是什么？
米沙：我们引导研究的方式，很大一部分落在我的联合创始人 Ioannis 身上，他负责研究和技术等等。这里面有很多是我们知道有效、但那一次没能放进去的东西，纯粹是时间线的问题：我们最终模型是在 7 月拿到的 SpaceX 集群上训练的，所以是几周预训练、然后几周合成数据加 RL，然后就发了。所以有非常多我们很兴奋的东西没能放进去。这里就是一个取舍：是谨慎地执行已知的东西、风险较小的押注，还是去做风险更大的押注。你想要先把所有高影响力、已知有效的东西用尽，然后再去扩展风险曲线。
米沙：而这么做的方式是：在风险曲线上，你做小规模的扩展实验。我觉得有意思的一点是，有些有趣的东西只有在大规模时才会显现。所以这是一门艺术也是一门科学：我是该再投一些算力去搞清楚下一件事，还是换到下一个想法上去。
米沙：至于「让模型进入回路」，我觉得它对研究者来说非常赋能，因为那些原本要花很长时间的事情，现在可以相当快地做完。不过这些模型在智能上是相当参差的，所以你得像手感一样感觉到哪里是一个紧的回路、哪里人的创造力仍然重要——而这个手感你很快就能建立起来。凡是能形成回路的地方，你就去做；尤其是超参数搜索之类的东西，以及基础设施上一些更细碎的事情，这些模型能帮上忙。但我其实觉得它们是非常令人兴奋的工具，因为它们让科学家能够运用自己的直觉——有点像有一个非常快、非常热切的同事，而且如果这个同事对齐得对，他真的会听你的。所以我看到的是：一个研究者获得的能力比过去大得多，移动速度快得多。这也许正是为什么改进速度从过去纯人工时的大约 7 倍，变成了现在的数倍，比如四到五倍。所以对研究者来说，拥有这些工具真的很令人兴奋。
米沙：这里有一个问题：到什么时点你就不再需要人在回路里了？
1:05:37 · 研究员人数与算力比
埃拉德：我正想问你：如果你今天需要 100 个人，明年同样的工作量是不是只需要 20 个？
米沙：同样的工作量，是的。但你会不断扩张你能做的事的野心，所以我们发现我们一直处于人手不足、而不是人手过多的状态。其实这里有一个基本的研究人员与算力的比例要记住，所以它不会无限地这样下去。我觉得 3,000 名研究员不会有多大帮助，但两三百名非常有帮助。
埃拉德：对。我听到的论证是：考虑到你需要给每个人分配的算力——尤其按你说的，如果你想让某些实验随时间放大——再加上与此相关的，贡献往往是有分布的：换句话说，在每个领域里都有一小撮人在想法上贡献最大，物理、生物，whatever。
埃拉德：最后会收敛到：你想把每一份增量的算力都给最有产出的那一小撮人。所以随着时间推移，研究者的数量要么静止、要么收缩。这是那个论证走到极端时的结论。我不是说它是对的，我只是说这是我听到过的一种论证。
米沙：这个论证确实有道理。这类项目其实从来不需要疯狂多的研究者——你想想当年的 AlphaGo，大概是 10 人的量级；而现在我认为，像我们在做的大工程，大概是百人、几百人的量级。所以从来就不是需要特别多人的情形。至于它会不会塌回到 10 个人，很难说。我估计会有一个稳态，大概在 100 这个量级。就是有很多事情要做。但同时在应用研究上会有大量就业创造——把这些东西拿去、真正应用到真实问题上。我认为人们在谈工程和研究时真的会漏掉这一点：这些角色会扩散到更广的社会面，而不只是构建语言模型。就像你说的，还有很多其他类型的模型要建。
埃拉德：还有各种闭环系统要建。但即使人们谈工程师、谈工程师可能被取代，到目前为止的证据似乎表明，很多公司需要的是更多工程师，而不是更少。同时还有某种质量水平的工程师扩散出去，去真正部署这项技术，进入那些在相对意义上、至少在大规模上，本来不可能接触到
埃拉德：那种水平人才的组织。所以我确实认为，当人们思考经济时这一点被忽略了：他们倾向于把它集中到少数几家大科技公司，而不是问我们的整体 GDP 是多少、它会被「把这项技术带出去的人」的扩散如何改变。
米沙：我认为这是对的。所以再说一次，做这些事所需的研究者数量，这些年并没有剧烈变化，一直是大项目大概一百人左右。我不认为在大项目上你需要几千人。但在不同的产品面上，你就需要一大群人。有意思的是，当你看「为什么你甚至需要几百人」的分布时，很大一部分是因为你有团队为不同的东西做评估、为不同的东西收集数据。
米沙：当你在生成的时候——这些模型有那些能力，不是偶然的。
米沙：确实有那种五到十人的小组，专门去攻某个特定能力；而在编程里面，有五到十个能力。所以那是把通用能力带进模型。但现在，当你要把那个模型应用到真实世界的能力上，基本上每一个真实世界的能力都需要一个小组，而每家企业都有很多很多这样的能力。所以我认为，对这类新的「部署工程师」会有大量就业创造——他们更偏科学、偏评估，对这些模型和 harness 有某种直觉，其实这正是评估研究员做的事：这跟构建核心东西的研究员是同一套技能，只是被部署去解决真实问题。这样的人我们有多少要多少。这其实更像是一个培训缺口，你需要把工程师训练到擅长这个，而不是说我们不要——今天我们有多少就要多少。
萨拉：恭喜你，米沙，拥有了第一个西方出品的、处在前沿档位的模型。这对整个生态来说是向前迈出的一大步。
米沙：谢谢，非常感谢，谢谢你们邀请我。
萨拉：在 Twitter 上关注我们：no prior pod。想看我们的脸就订阅我们的 YouTube 频道。在 Apple Podcasts、Spotify 或者你收听播客的任何地方关注这个节目，这样你每周都能收到一期新节目。也可以在 no-priors.com 订阅邮件、或者找到每一期的逐字稿。
References
- 1
- 2
- 3
- 4
Comments