Scaling 结束了吗?Ilya Sutskever 与 Dario Amodei 的分歧,指向同一个难题

Scaling 结束了吗?Ilya Sutskever 与 Dario Amodei 的分歧,指向同一个难题

Ilya Sutskever 认为 Scaling 时代正让位于新研究范式,Dario Amodei 则认为预训练、强化学习和推理时计算仍在扩展;两种判断的分歧,最终落在下一轮 AI 能力应扩展什么。

先说结论

Ilya Sutskever 和 Dario Amodei 的分歧,表面上是「Scaling 还行不行」,更深一层其实是:下一轮能力增长,究竟来自把现有训练回路继续放大,还是来自重新定义模型要学习的东西。
Ilya 在 2025 年 11 月的访谈里说,2012 至 2020 年是研究时代,2020 至 2025 年是 Scaling 时代,2026 年起会进入另一个研究时代。他认为预训练迟早会遇到数据有限的问题,当前语言模型的泛化能力也远不如人类。1
Dario 的判断几乎沿着相反方向展开:预训练与强化学习、推理时计算仍在同时扩大,暂时看不到足以证明收益已经明显递减的证据。但他也给出了一个不低的反例概率:未来两年模型可能因为数据、算力或尚未理解的原因停止变好,他把这个概率估在 20% 至 25%。2
这不是一场已经分出胜负的争论。对行业更有用的问题是:当两种路线都声称自己在「扩展」时,它们扩展的对象到底是什么。

两场访谈说了什么

Ilya:从更大的模型,转向更强的内在结构

这是 Ilya 创立 Safe Superintelligence 后的一次重要公开访谈。他谈到的重点不是下一代产品,而是为什么仅靠互联网数据和更大的训练规模,可能无法解决模型与人类之间的根本差距。
他的表述很直接:预训练的数据显然是有限的,「Scaling sucked out all the air in the room」。在他看来,模型在测试集上表现很强,并不等于它像人一样把经验迁移到新环境中;当前模型在现实任务里的泛化能力仍然「严重不如人类」。3
Ilya 给出的替代方向,包含几个相互关联的想法:让模型在读入大量语言数据之前先获得对世界物理的理解;通过自博弈或其它内部信号产生训练反馈;为模型加入类似人类价值函数的结构。他用脑损伤患者难以做出简单选择的案例说明,知识量并不自动等于行动能力。3
这套思路也解释了 SSI 选择「瀑布式」研发的原因。Ilya 不想把研究过程拆成持续发布产品、收集用户反馈、再快速迭代的循环,而是试图在较长时间里保持隐身,直接构建一种不同于聊天机器人的推理系统。这个策略仍是他的路线主张,不代表 SSI 的技术进展已经被外部验证。1

Dario:Scaling 没有结束,只是换了训练阶段

Dario 在 2025 年 7 月的 Big Technology 访谈中,把「Scaling」拆成了两个阶段:先是把互联网数据放进预训练,再是用强化学习、推理或测试时计算让模型处理更难的问题。他认为这两部分正在一起扩大,代码和数学任务上的进步说明收益还没有消失。2
他并没有把自己的判断说成确定预测。Dario 承认指数增长可能在未来两年停滞,也承认数据和算力供应会造成约束;但在现有证据下,他仍然认为模型能力会快速提升。与其争论「AGI」这个边界模糊的词,他更愿意谈可观察的能力变化,例如代码生成、企业使用和端到端任务完成。2
这里有一个容易被忽略的细节:Dario 并不否认新技术。他说每一代模型都包含架构、数据和训练方法的改进,只是这些改进仍然可以被纳入持续扩展的工程体系。换句话说,他押注的不是「永远只用同一种算法」,而是相信新方法会继续被吸收到更大的计算、数据和反馈回路中。2

Demis:现有范式可能还没有触到边界

Demis Hassabis 的位置更像一个中间参照。他在 2025 年 7 月的 Lex Fridman Podcast #475 中提出,凡是能在自然界生成或被发现的模式,或许都能被经典学习算法高效发现和建模。他的依据来自 AlphaGo、AlphaFold 等系统:面对极大的组合空间,模型不必枚举所有可能性,而是学习环境中的结构,沿着可利用的梯度搜索。4
他还用视频生成模型对液体、材质和光照的模拟举例,认为模型仅靠被动观看视频就可能学到某种直觉物理。这并不等于模型拥有人的深层理解,但至少说明「必须先具身行动,系统才可能形成世界模型」这条旧判断需要重新检验。4
因此,Demis 并没有简单站到 Dario 一边。他认为经典系统仍有很大空间,但下一步的关键也许是找到自然系统中的结构,而不只是把原有数据管线做得更大。

真正的分歧:扩展什么

维度Ilya SutskeverDario AmodeiDemis Hassabis
主要担忧预训练数据有限,模型泛化与价值判断不足指数增长可能受阻,但目前还没有足够证据证明它已结束现有经典学习系统可能还远未到能力边界
下一步重点世界模型、内在价值函数、自主反馈和新研究范式预训练、强化学习与推理时计算的协同扩展学习自然结构,让搜索和建模更高效
对产品节奏的态度研究优先,较长时间保持隐身通过代码、企业和开发者场景验证能力与商业价值以科学发现和世界模型作为长期目标
这张表里最重要的不是谁更乐观,而是三人对「反馈」的理解不同。Dario 把企业使用视为模型进步的外部检验,Anthropic 也把代码等商业场景看成能反过来推动模型改进的地方。Ilya 则担心用户数据主要教会模型模仿人类,而不是产生超越人类的推理能力,因此希望把反馈回路移到模型内部。23

如何判断哪条路线更接近事实

第一,看「数据瓶颈」究竟发生在哪里。如果新增互联网文本带来的收益下降,但强化学习和推理时计算仍能稳定提高复杂任务表现,Dario 所说的「Scaling 换了阶段」就比「Scaling 结束」更准确。反过来,如果模型在熟悉的基准上继续进步,却无法把能力迁移到新环境,Ilya 对泛化问题的批评就会变得更有分量。这里的判断必须依赖跨任务评测,而不能只看单个榜单。
第二,看模型是否能持续学习。Dario 承认持续学习和记忆仍是问题,但认为更长的上下文、内循环与外循环训练可能填补一部分缺口。Ilya 则把「读入世界、形成内在价值、独立产生反馈」放在更靠前的位置。真正的分水岭,不是模型会不会回答更多问题,而是它能否在新环境里积累经验、修正目标,并保持可解释的行为边界。23
第三,看「研究回报」能否被产品及时捕捉。Dario 的路线适合在商业环境里快速验证,因为代码和企业任务有相对清晰的成功标准;Ilya 的路线如果成立,价值可能要到某个新系统完成后才显现,短期很难用收入或用户量证明。两种组织方式对应两种风险:前者可能把所有新想法都压回既有工程回路,后者则可能在长期隐身中失去现实反馈。

对行业的影响

1. 算力竞赛不会自动消失,但投入结构会变化

如果 Ilya 的判断成立,下一轮资本不会只追逐更大的预训练集群,而会更多流向世界模型、合成数据、可验证推理、持续学习和新型反馈机制。若 Dario 的判断成立,预训练之外的强化学习和推理时计算仍会吸收大量算力,企业需要重新估算推理成本、数据中心规模和模型服务的毛利。
所以「Scaling 结束了吗」并不是一个适合用单一数字回答的问题。更准确的问法是:哪一种计算还在带来可重复的能力增益,哪一种增益能转化为现实任务中的可靠结果。

2. 企业 AI 会成为检验模型路线的压力测试

Dario 反复强调商业使用,尤其是开发者和企业场景,因为这些场景能把模型能力和实际产出绑定起来。代码是否完成、任务是否闭环、错误率是否下降,比「模型看起来更聪明」更容易形成反馈。2
但企业部署也有盲点:组织可以容忍一个助手偶尔答错,却不能接受它在目标不清时自行扩大行动范围。如果模型要从「会生成答案」走向「能在复杂环境中持续行动」,Ilya 所说的价值函数、记忆和世界理解就会从研究问题变成产品可靠性问题。

3. AGI 时间线的争论,最终会落到可检验能力

Demis 曾在这场对话中给出大约三至五年的 AGI 时间判断,但同一访谈更有价值的部分,是他把讨论拉回「系统能否建模自然结构」和「能否理解世界动力学」。4
这比争论谁先宣布 AGI 更有用。读者真正需要追踪的指标包括:模型能否在陌生任务上迁移,能否长期记忆并修正策略,能否处理开放环境中的因果变化,以及它的行为是否能被人类稳定地约束。没有这些指标,任何「进入新时代」或「指数还在继续」都只是路线声明。

接下来值得追踪什么

这三场对话留下了一个清晰的观察框架:
  • 看新一代模型的进步,主要来自更多数据、更长推理,还是新的训练目标。
  • 看模型能否在没有人工逐步示范的情况下,通过环境反馈学到可迁移的策略。
  • 看企业真实任务的成功率是否同步提升,而不是只看实验室基准。
  • 看研究机构是否公开足够的失败案例,让外界判断它们的时间线究竟建立在什么证据上。
Ilya 和 Dario 的分歧并没有告诉我们谁一定正确,却把问题问到了更具体的位置:未来的 AI 竞争,可能不再只是比谁有更大的模型,而是比谁能找到最值得扩展的学习回路。

Contenido relacionado

  • Inicia sesión para comentar.
More from this channel