世界不是一段视频，是一条时间轴

Runway 把视频模型改成能实时跑的运行时：一句提示词写清场景、主体与物理法则，再走进去，用带时间戳的动作操控它。1 官方口径是连续 720p、24 帧每秒、音频 48,000Hz。1 我和 Runway 联席 CEO 阿纳斯塔西斯聊了 96 分钟：从一千张 A100 的赌注、Sora 那一夜的追赶，到机器人。2

按官方 16 段章节顺序整理，时间码为官方口径（1:36:14）。2 本期主持为 swyx（肖恩·王）与维布·诺比；播客嘉宾是阿纳斯塔西斯·耶尔马尼迪斯，Runway 联合创始人兼联席 CEO。同一期里，Runway 的 CTO 卡米尔·辛迪与首席研究科学家罗宾·卡洛接受了书面访谈，讲 WorldPrompt 的设计意图与限制。2

Runway 的起点判断是「什么时候」而不是「会不会」：2016、2017 年那批早期生成模型加上可预测的质量曲线，最终会让大部分内容由模型生成；因此创作工具本身需要重做。2 他本人的线索是两条并行：一边是自己的互动艺术实践与模拟实验（2015 年那件给画廊观众发语音指令、生成整场寒暄的作品），一边是创业公司里的机器学习与后端工程。2

最早的工作不是模型，而是把当时的开源模型（pix2pix 一类）包起来交给艺术家——pix2pixHD 只在自动驾驶数据集上训练过，却被用来做出超现实画面，这成为 Runway 判断的浓缩版。2 研究部门在第一年就成立了，但在后台跑了四年；真正养活公司的是分割与转描工具「绿幕」，它进入《瞬息全宇宙》等作品，也让 Runway 长期被当作后期工具。2

时间线：2021 年底潜空间扩散论文（作者之一帕特里克·埃塞尔当时在 Runway，工作与 CompVis 的同事合作完成）→ 2022 年初无分类器引导等技巧 → Stable Diffusion 用同一架构、更多算力与更好的数据（LAION 的美学子集），那次大训练跑在 Stability 的集群上、由 Stability 出资。2 他的定性是：这本来就是一个开源研究项目，所以继续发布 1.5 是原定目标；中间大约一天有沟通不畅，几小时内解决。两家公司后来各走各的路。2

Gen-2 是市场上第一个文生视频模型，但很快被判定「光有文生视频不够」：人们要的是控制。2023 年一整年都在做条件化——运动笔刷（画箭头指定物体移动）、相机控制（描述镜头怎么走），随之而来的判断是「可控性值得投入」。2 Gen-2 的来历是一次周末项目：Gen-1 是深度图到视频的模型，他想的是「先让一个模型从文本生成深度图，再用 Gen-1 把深度图变成 RGB」；Gen-1 尚未正式开放，Gen-2 就已发布。2

相机控制带来了一个转折感：你不再是在做一段视频，而是在一个世界里导航。这被视为世界模型研究方向的种子。2 判断是：看这些模型有两种方式——内容创作机器，或者「要预测好视频，就必须越来越强地模拟世界」；如果缩放定律在视频上成立，算力放大之后物理、人的动作与动态都会被模拟得越来越准。世界模型研究组在 2023 年底成立。2

语言模型学的是人类写下的关于世界的一切，但世界的低层动态大量没被写下来：描述怎么系鞋带很难，演示却显而易见。他称之为「X 悖论」——我们持续低估下意识行为里的复杂度。2 面对「理解世界动态与生成讨喜视频是两件事」的反论，他的回答是「它们是同一件事」，但也要小心被当前视频模型的表现骗到——它们会用切换机位等方式掩盖不会模拟的物理。2 被问到是否要换新架构（如 JEPA），他的答案是务实的：有证据就换，但至今没有证据表明视频预测不能扩。2

2024 年 2 月 Sora 发布，结果远超 Gen-2，推特上出现「Runway 完了」。真正的功课是补课：扩散 Transformer、模型并行、分布式训练基础设施——语言模型世界用两三年学完的东西，他们几个月学了一遍，中间大量失败。2 结果是模型规模与训练算力各放大 10 倍，那个夏天拿出 Gen-3；研究组织随后快速扩张，「通用世界模型」的愿景在 Gen-3 之后才真正被认真追起来。2

Gen-3 之后几个月发布 Turbo，他指出那是第一个进入生产的步数蒸馏模型，并反驳「蒸馏没留下来」的说法：现在有大量步数蒸馏模型在生产里跑。2 蒸馏有两条轴：蒸馏成更小的模型，或减少扩散步数（50 步压到 4 步，有质量损失但结果常常可比）；前沿大模型也能通过步数蒸馏拿到实时性能。已经在跑的例子是角色模型 Core Character——步数蒸馏的自回归视频模型，24fps。2 他的结论：实时视频生成不可避免，因为体验更好、服务更便宜，而质量差距只会随蒸馏技术变好而缩小。2

Solaris 是 Runway 的第一个界面世界模型：直接渲染界面像素，并被训练成预测点击、拖拽、滚动之后发生什么；背后没有 HTML、CSS 或 React，输入就是点击本身。3 官方强调它是把「端到端」用到前端：与其生成产出像素的代码，不如直接生成像素；它还带音频，所以点击的音效也在生成范围内。用法上最看重原型与探索类场景，并指出个性化（按来访者提示同一界面）与无障碍更容易做。2 对照实验是让 Claude 拿同一张界面参考图去实现「把物体往上拖」：更慢，且难以捕捉某些交互。代价也直说：跑实时视频模型比渲染 HTML 贵得多。2

终局是「完全神经化的操作系统」：界面本身变得可学习、成为整个回路的一部分，你交付的是端到端的应用——语言模型、渲染与像素都一起交付。2 随之要重做的是「应用」这个概念本身：它来自「每个工具都要有自己的代码库」这个假设；如果界面随用随生成，就可以从语言模型那里取上下文，把传统上分属不同应用的功能合起来。它还被视为训练电脑操作智能体的合成数据源，甚至可由它构成在线强化学习环境。2

GWM-1 建在 Gen-4.5 之上：把双向扩散改造成自回归并接受动作输入，于是模型从「一段你观看的视频」变成「一个你走进去、每一步都能控制的模拟」。4 机器人实验室是最早的用例：他们来要合成数据，要求把视频模型后期训练得适合机器人；随后变得更清楚的是，它还能当模拟器——用闭环方式在线测试机器人策略。2 做模拟器的前提是建立与真实世界的相关性。他们用 GWM-1 在一个机器人学界通用的动作模型基准场景里复现同样的设置与本体，测「同一套动作在世界模型里」与「在真实硬件上」的表现是否吻合，官方称拿到了非常好的相关性。相比之下，传统模拟器要先把环境与每个物体做三维扫描，世界模型只要一张环境的照片。2

数据来源上，他们押注第三人称视频：遥操作数据最贴近动作但最难扩，自我视角数据（手套、头戴 GoPro）好一些，而第三人称视频的数量和多样性最大——官方给的数量级是，世界上存在的自我视角数据比第三人称视频少三个数量级。2 因此路线是第三人称视频预训练，再用很少的真实机器人数据适配：几百小时，而不是十万到百万小时；目前他们按合作伙伴的特定本体分别做后期训练，预计一两年后这些变体会收拢成一个模型。2 另一条线是世界行动模型：从视频模型出发加一个动作头去预测动作，它就成了策略——如果模型能准确生成「机械臂把物体拿起来」，它就应该能给出精确的三维位姿。2

他提出的思想实验：戴着 VR 头显在同一房间里自由走动、与物体交互，结束时有人问「你刚才用的是透视模式，还是生成出来的画面」——如果你无法确定，模型就够好了。他坦率地补一句：我们离那还很远。2 更硬的一条是反事实：在线视频里「进球」比「射失」多得多，所以视频模型生成成功更拿手；而交互式模型必须让两种动作的结果同样真实。要用它评估机器人、或在在线强化学习里用它，就必须能模拟失败。2 用来测「缩放能不能提升物理直觉」的基准是 Physics-IQ：取物理现象视频的第一帧交给图生视频模型推演，得分随模型与算力规模可预测地变好。2

Runway 的视频智能体本质上是一个很会用工具的大语言模型：串起图像与视频模型，走完 brief、分镜、成片的链路，还分析投放表现并据此决定接下来生成什么。2 他的观察是：先由 harness 做的事最后会被吸进模型——链式思维从「写超级详细的系统提示」变成模型自己生成推理轨迹；视频从「编排器并行生成多个镜头再拼」变成直接多镜头生成。剪辑直觉值得端到端学，因为大语言模型并不擅长当剪辑师。2 更长的一条线是全模态：让模型同时做自回归的文本预测与扩散——用推理与规划处理场景，再把它交给生成像素的扩散头。2

他们把模型看成「另一支笔、另一台摄影机」。他观察到过去几个月态度在变：戛纳有导演公开为 AI 说话，罗恩·霍华德出现在他们的电影节，马丁·斯科塞斯也在采用这些模型。他的解释之一是「文生视频」这个说法本身制造了误解——一句话换一整段视频，听起来像魔法实体替你想完了整部电影；而当模型能吃下最多五十个参考、可以被引导时，它更像一个工具。2 关注点也在移动：从质量，到可控性，再到延迟。他把它说成找回 Photoshop 那种即时感——「实时模型会把其中一部分拿回来」。2 创作品味被当成训练的一部分：创意团队参与怎么给视频打标签（摄影、美学、镜头调度）以及什么算一条可用视频的评估。2

被问到视频模型排行榜，他的回答是前十、前二十里大多数是中国模型，图像这边西方还行、视频落后很多；对「直接蒸馏」他保留：会被能拿到的上限框住，而且他们目前有能力不靠蒸馏训出好模型。2 开源方向上，Runway 与英伟达共同发起 Cosmos Coalition，做开放权重模型、基准与基础设施，让刚入门的开发者与研究者更容易为世界模型这个领域做贡献。2 评测上他的观察相反于语言模型：创意人拿同一句提示词跑几个模型、用眼睛比结果，因为图像与视频的瑕疵一眼可见；在 Runway 的产品里，自己的模型和第三方模型可以直接放在一起比。2 收尾是 2026 年 9 月 30 日旧金山的 Runway AI Summit，以及他公开站定的立场：这一行还没吵完的三件事——机器人该用 VLA 还是世界行动模型、机器人数据该靠遥操作还是大规模视频、世界模型该直接预测像素还是 JEPA 或三维路线。5

底稿是官方单集页自带的完整逐字稿（392 轮、17,051 词，每轮自带时间戳与说话人标签），专有名词、数字与议程用 Runway 官方公告、官网与官方单集页核对后校正。只保留中文译文，不保留英文原文，不做压缩、摘要或删减。说话人标签按官方逐字稿的署名保留：swyx（主持）、阿纳斯塔西斯（嘉宾）、维布（主持）；两人接话重叠时，官方逐字稿会把同一句话拆成几行短句，这里把它们合并在续句者名下。小节标题是官方单集页自己的分段标题的中译。2

swyx：好，我们现在和 Runway 的阿纳斯塔西斯在录音室里，还有我和维布。欢迎。 阿纳斯塔西斯：很高兴来。 swyx：祝贺你在 Runway 取得的所有成绩和进展。你们正在全世界开办公室。你最开始创业的时候，想到过今天吗？ 阿纳斯塔西斯：不完全是。我觉得即便在我们刚起步的时候，我们就有这样一个想法：这不是「会不会」的问题，而是「什么时候」的问题。我们在看 2016、2017 年那些早期的生成模型，然后向外推——假设分辨率、质量会随着时间可预测地提高。总会有一个时点，大部分内容都会是被生成出来的。这大概就是 Runway 最初的判断：因为这些生成模型，我们需要重新思考创作工具是怎么做的。而当我们把生成模型背后的研究一点点搭起来之后，才变得清楚：它们的用处远不止于此。

swyx：而且现在这件事更明显了，就是你刚才说的真实世界、还有我们后面会聊到的世界模型那一块。我很好奇，你是怎么从 Zocdoc、从计算机视觉这条路走到 Runway 的？带我们回到你最初和克里斯、以及联合创始团队其他人的那些对话。 阿纳斯塔西斯：我一直在那两个世界里来回。一边是我有自己的艺术实践，我做了很多互动艺术，做了很久。另一边，我在创业公司工作，做过机器学习工程师、也做过后端工程师。我一直对编程和计算感兴趣，尤其对模拟感兴趣，也把它带回了我早期的作品里。同时我也感兴趣的是—— swyx：你的个人网站上有几个作品，对吧？ 阿纳斯塔西斯：对。 swyx：有没有哪个值得翻出来？万一有什么东西……我就是喜欢往回看。 阿纳斯塔西斯：好。 swyx：好，这是什么？ 阿纳斯塔西斯：这是我做的一个项目，我记得是 2015 年。我做了一个软件，它会给画廊空间里的人发语音指令，来协调人与人之间的互动。它会先给你一个身份，比如你是个建筑师、30 岁、喜欢运动；然后把你和另一个人配对，你们就有一段完全生成出来的互动。那时候语言模型还不太行，所以它是模板加上马尔可夫链生成的文本混在一起，把画廊里所有人的寒暄对话整个模拟出来。所以我一直一方面对生成模型、对当时正在发生的早期机器学习工作非常着迷；另一方面又有另一条线，是关于模拟、以及它意味着什么——我们能通过为人的互动和行为建立这些非常简单的模型，学到关于人的什么？

维布：那些提示是你生成的吗？比如「30 岁」那些？是你生成的吗？你是怎么—— 阿纳斯塔西斯：正是。程序会自己生成那些东西。对，很多就是那种「疯狂填词」式的—— 维布：是。 阿纳斯塔西斯：你有一堆职业的列表、一堆不同的—— 维布：爱好。 阿纳斯塔西斯：性格类型的列表、年龄的列表之类的，然后把它们组合起来。然后下一个项目也许就是「恐怖谷」、「诡异之路」，那个是—— swyx：GAN。 阿纳斯塔西斯：那是我们和我两个联合创始人之一克里斯一起做的早期项目之一。它用的是 pix2pixHD，英伟达在 2016 或 2017 年发布的早期图像到图像模型之一。那个模型会拿一张场景的语义图，然后生成一张我们姑且叫照片级真实的输出。那是很早期，所以保真度并不高，但我想它是第一个能以 1K 分辨率生成的图像生成模型。而它完全是在自动驾驶数据集上训练的，所以它支持的语义类别只有你在路上会遇到的那些：行人、交通标志—— 维布：红绿灯。 阿纳斯塔西斯：自行车、红绿灯。所以那是我们最早的迹象之一：我们做了这个，而人们在拿它做各种非常超现实的图像，比如一百万个加一百万个行人、或者一百万个交通标志、或者巨大的人。它说明你可以拿一个在这种非常无聊的数据集上训练的模型——基本上就是开车时不会发生什么有趣的事——然后把它改作他用、跑得非常超出分布，做出在艺术上有说服力的东西。从某种意义上说，这就是 Runway 判断的浓缩版：你可以拿同样的生成模型，如果你从另一个方向看它们、围绕它们做出有意思的工具、把它们交给艺术家，他们会做出你意料之外的东西。 维布：很酷。我喜欢它的交互方式：给你一块空白画布，随便试、随便做。然后另一个作品，你看每个人都戴着有线耳机？那就是一个迹象，说明它是—— 阿纳斯塔西斯：苹果—— 维布：对。 阿纳斯塔西斯：苹果的版本。 维布：最早的广告。那带我们回到今天吧。你在 Runway 已经做了七年。我们是怎么走到这一步的？我们是怎么从驾驶模拟器的数据走到现在这一切的？而且你覆盖了生成式媒体的整个技术栈。

阿纳斯塔西斯：有意思的是，我们几乎绕回来了，现在是完整的循环：我们现在把模型、以及超出创作工具的用途，应用到真实世界的场景里。但这是一条很长的路。很早我们就意识到，Runway 的第一个版本是一种让大家容易使用当时所有开源模型的方式，比如 pix2pix 那类，然后把它们交给艺术家。最初的想法就是这个：如果你不是机器学习工程师，那些模型太难用了。那把它们交给艺术家会发生什么？很快我们就意识到，我们需要在 Runway 内部建一个研究组织，那大概是第一年的事。那里很大一部分使命是：当时的图像生成模型、视频生成模型——当时几乎没有视频生成——还没有到能被产品化、被带进创作工作流的程度。所以我们必须推动研究的前沿。所以 Runway 的头四年，研究几乎是在后台进行的，直到 2022 年有一个时点：潜空间扩散、DALL·E 2，出现了那种阶跃式的变化。你们大概还记得那个时间点。 swyx：我进这个领域就是因为潜空间扩散和 Stable Diffusion。 阿纳斯塔西斯：对。 swyx：因为我当时想：哇，这件事不只是可行，它在消费级硬件上就能做。 阿纳斯塔西斯：正是。 维布：我觉得那个落差也非常大。我学过 pix2pix，那是机器学习入门课、TensorFlow、Jupyter、Google Colab 笔记本那一套，然后是扩散带来的突然的阶跃。从那以后还有别的吗？早期扩散到今天的路上有很清楚的例子。关键技术研究上还有别的变化吗？

阿纳斯塔西斯：你是指 2018 年我们起步到 2022 年之间吗？ 维布：对。 阿纳斯塔西斯：我们在 Runway 最早做的一件工作是解决分割，图像和视频分割。那是一个非常重要的问题，因为大部分视觉特效本质上就是把主体分离出来—— swyx：转描。 阿纳斯塔西斯：对，转描。极其手工的流程，没人喜欢做。所以 Runway 早期很大一部分就是在做这个工具，它叫绿幕，在很长一段时间里是人们使用 Runway 的主要用途。它最后被用在《瞬息全宇宙》和一堆其他高关注度的电影和剧集里。但那意味着在很长时间里，Runway 基本上是一个后期制作工具，直到潜空间扩散和 Gen-1、Gen-2 出现。 swyx：好，那我们就越过那一刻。你已经走了很远。然后你开始发布自己的模型。也许可以描述一下那段历程。

阿纳斯塔西斯：对，那我们跳回另一个时点，2022 年年中：当时变得很清楚，我们做研究的算力规模相当小，而缩放定律会以同样的方式适用于图像和视频生成，就像它适用于语言生成一样。所以我们下了一个大注。当时我们签了协议，建一个一千张 A100 的集群，而那时候我们还是一家 B 轮公司。那大概是一个、也许有点不理性的决定。但我们真的相信，如果以大算力训一个视频模型，最后我们会拿到一个很好的模型。当时我们设定的目标，大概是 2022 年秋天：对视频来说，潜空间扩散、Stable Diffusion 那种时刻长什么样？当时最好的模型叫 CogVideo，是早期视频模型之一，只有 256×256 分辨率，质量很不怎么样。所以我们决定把这个集群搭出来，投资去搭我们自己的视频模型。在训 Gen-1 的过程中我们看清楚了，要一步到位很难。我们想建文生视频，但很明显一个更容易的起点是从视频到视频开始。因为当你有更强的条件输入时，把一个已有视频重新风格化，比从零生成视频要容易。所以我们先发布了 Gen-1，那是 2023 年 1 月。对。 维布：老实说，这期播客的视觉很好玩。如果我们能看到 2023 年 2 月，那时候是个什么状态？

阿纳斯塔西斯：很有意思，因为当时你看到那些结果，会觉得太不可思议了，几乎像是图像生成或者视频生成被解决了。然后过几年回头看，就发现——人们对这些模型的结果很快就习惯了。但在当时我们开始看到那些结果的时候，它感觉相当不可思议，包括你能拿到的质量水平。Gen-1 是一个深度图条件视频模型：它拿一段输入视频，先把它转成深度图，然后用一个潜空间扩散模型生成像素。 swyx：对，非常有效。 维布：对。我没想到那篇博客会这么让人分心。抱歉。 阿纳斯塔西斯：对，但我在 Gen-1 上最喜欢的例子之一——如果你看模式三或者模式二，有一个分镜的用例，人们会—— 维布：哦。 阿纳斯塔西斯：用书或者箱子搭出一座城市，然后用手机拍一段视频，再把它转成照片级真实的输出。那些模型开始被用于分镜，也有各种这样的用法。然后如果你看模式四，那是把没有贴图的三维场景转成照片级真实的输出。所以我们很早就看到很多用例：熟悉这些的、或者资深视觉特效剪辑师，会直接拿一张 Blender 渲染图，用 Gen-1 转出来；或者在 Unity 里搭一个场景，拍一段视频，然后转出来、重新风格化。所以我至今认为视频到视频很强大。我们最近也有一个视频到视频的模型，而我最喜欢的用法之一，本质上就是拿真实视频作为最初的灵感，然后转成不同的风格、不同的输出。

swyx：但我想我们会进入 Runway 的后面部分，把大家带到今天。我确实想聊一下，就把它叫 Stable Diffusion 的争议吧，或者叫 Stability AI 发生了什么。我觉得这个故事有两面。其中一部分是正常的：人加入公司、离开公司。但这么多年过去，现在的复盘是什么？ 阿纳斯塔西斯：对，那是一个非常、非常长的故事。我觉得我们—— swyx：我记得你为此写过一篇很长的文章。 阿纳斯塔西斯：要更细地讲进去，大概会把整小时都用掉。但本质上，先是那篇潜空间扩散的论文，我想是 2021 年底。然后帕特里克·埃塞尔——他是潜空间扩散背后的研究者之一，当时在 Runway 工作——他和罗宾·伦巴赫以及其他几个人一起，在 CompVis 建出了潜空间扩散，那是一个实验室—— swyx：像一个研究组，对。 阿纳斯塔西斯：在发布早期潜空间扩散模型之后，他们的目标就是继续做这个模型的各个版本：放大它、纳入新数据、纳入新任务。Stable Diffusion 是同一个模型，但用更多算力训练，再加几个技巧，比如无分类器引导那篇论文，我想是 2022 年初出现的。那—— swyx：那是一个很大的提示能力提升。 阿纳斯塔西斯：对。 swyx：嗯。 阿纳斯塔西斯：它改善了结果。它在更好的数据上训练，比如 LAION 的美学子集，但底层架构实际上是一样的。然后那一次大规模训练跑在 Stability 的集群上，Stability 出资支持了那次训练。回头看这个故事，我认为建那个模型、训那个模型的工作已经完成了，它是一个研究项目，是作为潜空间扩散工作的延续做的。然后我认为这个模型变得非常成功。作为它成功的结果，其他公司试图为它找出商业化路径。但对我们来说，非常重要的是我们确保——它本来就是一个开源研究项目，所以我们决定应该继续发布它的版本，因为那本来就是 Stable Diffusion 最初的目标。这就带来了 Stable Diffusion 1.5 的发布。那中间大概有一天、有一点沟通不畅，但最终在几个小时之内很快就解决了。对，所以—— swyx：好。 阿纳斯塔西斯：不是什么—— swyx：我只是想——你必须—— 阿纳斯塔西斯：对。 swyx：你是那段历程里的主要参与者之一，所以能听到当事人讲发生了什么，是很好的。 阿纳斯塔西斯：对。我觉得那都过去了。 swyx：对。 阿纳斯塔西斯：我会这么说。两家公司，Stability 走了自己的路，Runway 走了自己的路。 swyx：对。现在还有卡梅隆在支持新的 Stability，他们跟好莱坞制片厂在做什么。 阿纳斯塔西斯：对。 swyx：我不知道他们在做什么。我觉得有一件事让我印象很深——然后我们就可以往下走了——就是在那时候，比如说 2021、2022 年，你参与的那个社群在研究的都是这些东西。而我从当时活跃的人那里听到的是，那时候相当明显：总会有人做那次「英雄级」训练、产出 Stable Diffusion。所以问题大概是：你们当时做了投资、有那种先见，这能说明当时大家的想法就是这样吗？还是说当时的主流仍然是「好吧，我们就把它当作后期制作工具之类的东西，我也不知道」？在那样的情绪里，我们处在哪个位置？也许你可以回想一下当时的社群是什么样。

阿纳斯塔西斯：我很怀念、也很深情地想起 2018 到 2022 那几年，因为那是一个非常小的社群，而且正如你说的，他们非常确信这件事会很大。当时，任何——因为圈子这么小，任何属于这个圈子、用它做项目的人，马上就会火起来。 swyx：而你并不知道他们是谁，对吧？只是 GitHub 或者 Hugging Face 上某个名字。 阿纳斯塔西斯：正是。我记得创作型 AI 最早的大爆发之一，是那篇神经风格迁移的论文—— swyx：嗯。 阿纳斯塔西斯：那篇—— swyx：是「做梦」那个吗？ 阿纳斯塔西斯：我想它叫神经风格迁移。

swyx：好。 阿纳斯塔西斯：还有 Deep Dream，那个小狗切片—— swyx：对。 阿纳斯塔西斯：那个也很酷。对，还有一个项目，吉姆·科根——他是 Runway 早期的顾问之一，也是那些—— swyx：做营销的人。 阿纳斯塔西斯：创作型 AI 的大人物之一——他其实就是放了一段视频：他坐纽约地铁、过威廉斯堡大桥，然后把画面风格化成，我记得是梵高、或者某位画家的风格。那在当时就是，太酷了，它病毒式传播，对人们来说完全是新的启示：你可以用生成模型做这个。而那只是不到——那大概是十年前。所以它也在提示我们，事情走得有多快。 维布：确实很疯狂。从那时候到现在，技术栈的每一层上都有人了：开发者、创意人、艺术家、爱好者，所有人都在用。而早期试过的人会记得，用普通的扩散模型有多难。现在你可以用你常用的 ChatGPT 图像生成或者别的什么，给一句话，拿到一张漂亮的结果。但扩散是整套超高清、4K、高分辨率那一套，给这些东西写提示词完全不一样。所以你们在工具侧学到的东西——创意人、开发者——你们真的把研究带给了所有人。这方面有什么有意思的可以分享吗？

阿纳斯塔西斯：我们不得不为视频扩散模型搭建整套模型服务基础设施。当时别的地方什么都没有，因为我想 Gen-2 是市场上第一个文生视频模型。我们一路上学到了很多东西。我觉得最大的一条是：我们很早就非常清楚，文生视频不会就是答案。人们想要的控制比那多得多，所以我们很快就投入去做建立在这些模型之上的控制。怎么用相机轨迹做控制？怎么用初始输入帧做控制？那是我们很早的一个认知。文生视频这边，Gen-2 是视频模型质量上一次了不起的阶跃式提升，但它更多是被探索性地使用，因为没有任何东西可以把它锚住：没有可以参考的东西，你没法真正控制相机运动，也没法控制物体运动。所以 2023 年那一整年，真正的主题是：我们能用哪些有意思的方式去调节这些模型？其中很多就是在基础模型之上做一轮轮的后期训练，去搞清楚人们想怎么控制它们。然后就有一连串快速迭代，比如我们叫运动笔刷的东西——你可以画箭头，指定场景里东西该往哪动。 维布：那太酷了。 阿纳斯塔西斯：还有相机控制，你可以直接描述你想让相机在场景里怎么动。因为我们从 Runway 的大部分历史里都在和电影人合作，我们马上就得到了反馈，也就决定这件事值得投入。所以在做那些模型的时候，可控性很早就成了一个大的主题。有一件好玩的事我其实没怎么讲过：Gen-2 是怎么从 Gen-1 长出来的。它有点奇怪，因为我们在 Gen-1 之后两个月就发布了 Gen-2——

维布：我们在加速。 阿纳斯塔西斯：那时候 Gen-1 甚至还没有正式对外开放。但 Gen-1 是一个深度图到视频的模型：它拿一张深度图，把它变成 RGB。我们当时没法让文生视频或者图生视频直接跑通，这就是为什么我们从深度图到视频起步。然后我们讨论过：好，我们得花接下来六个月投在文生视频上，也许提高算力规模或者模型规模，训一个更大的模型。而我有一个周末项目的想法：如果我拿一个从文本输入出发、转成深度图的模型，然后用 Gen-1 把深度图转成 RGB，会怎么样？ 维布：大概能 work。 阿纳斯塔西斯：所以 Gen-2 就是那个。 维布：哦，黑客松式流水线。 swyx：周末黑客松式流水线。 阿纳斯塔西斯：对。 维布：但它看起来很好。 阿纳斯塔西斯：而且它效果相当好。如果你知道它有这个两阶段的流水线，有些情况下你能看出来视频的结构有点不对，因为你必须先出深度图，再进入输出视频。但它能用，而且让我们能非常快地把这个东西带给用户。现在看就有意思了，因为人们又回到了这种近乎两阶段的做法。比如你看几个月前那个 Reve 文生图模型，它有一个规划器模型，先生成边界框，再把它喂给扩散 Transformer。 swyx：对，Ideogram 也同一天。 阿纳斯塔西斯：对。 swyx：我记得当时觉得很奇怪，两家同一天出来，而且是完全一样的创新。 阿纳斯塔西斯：我觉得这就是个小圈子。 swyx：我就想，这完全是巧合，对吧？ 阿纳斯塔西斯：大家会聊天。所以这个方向里确实有东西。而现在，每一个在生产里的视频生成模型，底层都有一条复杂的提示补全流水线。我觉得这已经不是秘密了—— swyx：人写提示词太差了。

维布：我觉得是全面性的。 阿纳斯塔西斯：对。 维布：但那篇最原始的 Sora 博客甚至直接告诉你，你的输入之后发生了什么——它在重写你的提示词，把它写得更能描述你想要的东西。 阿纳斯塔西斯：正是。而且之前那篇 DALL·E 3 的论文，第一次公开说明了合成字幕、以及非常详细的字幕效果有多好。Sora 是建立在那之上的。对，那是 2023 年。我们在给 Gen-2 发布所有这些更新，比如相机控制、运动笔刷。相机控制里有一件事非常有意思：那是第一次，你感觉你不是在创作视频，你是在一个世界里导航——而不是做一段短视频。我觉得相机控制大概就是我们关于世界模型的那些想法、以及真正打开那个研究方向的种子。我们意识到，通过 Gen-1、Gen-2 这一系列模型，我们向自己证明了：对，这就是—— swyx：酷。 阿纳斯塔西斯：所以这不是最初的相机控制。这是在 Gen-3 之上更新过的相机控制。对，我觉得它让那些模型对电影人变得可用。相机控制非常受欢迎。然后我们意识到，看这些模型有两种方式：一种是把它们看成内容创作机器；另一种是——当你在预测视频，为了把视频预测好，你需要以越来越强的能力去模拟世界。如果缩放定律在视频上成立，就像它在语言模型上成立一样，那么当我们把投给这些模型的算力放大，它们就能越来越准、越来越可预测地模拟物理、模拟人的动作和动态。那就是我们在世界模型上努力的判断。我们拉起了这个研究组，专门聚焦世界模型，以及怎么把我们在做的视频生成模型变成更广的东西、变成在内容创作之外也有用的东西。 swyx：那大概是什么时候？ 阿纳斯塔西斯：对，那是—— swyx：哦。 阿纳斯塔西斯：2023 年底。 维布：有意思。我觉得现在很多人在说，很多视频生成模型公司这些日子都转向世界模型了，但你 2023 年就在说了。

维布：对。 阿纳斯塔西斯：随着模型变得更强，这些模型的应用面在扩张。 维布：早期的迹象看起来是这样的：你们最初的模型，人们会说它非常不「苦涩的教训」——你在加提示改写、你在搞一堆一次性的小把戏。但那只是技术当时的状态，跟未来相比——就像你说的，你可以放大，可以放大到世界模型。 阿纳斯塔西斯：对。所以就变成——如果你看 Gen-2 的输出—— 维布：对。 阿纳斯塔西斯：它并不——我觉得人们并不明显看得出它会放大成世界的通用模拟器。你的运动非常有限、保真度或分辨率很低、人体结构有明显错误，各种限制都有。但那个想法就是：这只是 GPT-2，而 GPT-2 几乎写不出连贯的句子。类似地，Gen-2 几乎做不出连贯的视频，但如果你放大它，你就会——从道理上讲没有理由不行。我认为那一直是 Runway 的心态，就是这种外推：即使我们在 2018 年起步时，你看当时的结果，你也应该更多去看趋势——2018 年我们处在哪，和 2014、2015 年第一个 GAN 出来时我们处在哪。你从 32×32 的人脸开始，到 2018 年就能以 1K 分辨率生成街道图像了。世界模型也是这样，是非常早期的、某种更大东西的迹象。 swyx：对。我正想说，这像是在对焦——如果你看我们每年能看见的输出，它本身就像一个扩散过程。 阿纳斯塔西斯：对。 维布：尤其是看早期那些旧博客，你真的能看到那种卡顿和细节。 阿纳斯塔西斯：对。就像人类文明从随机噪声开始，然后—— 维布：对。 阿纳斯塔西斯：去噪成—— swyx：对。就让它跑一百年。 阿纳斯塔西斯：文明。 swyx：对。 维布：这就是你在轨的方式——你还在加噪，对吧？ swyx：对。我喜欢你们 6 月发布时的那种说法，你们有一篇视频随笔：「人类心智不再是 AI 的中心，我们的世界才是。」对吧？也就是说，我们可以说过去五年基于大语言模型的 AI，很大程度是在模仿人的偏好和人的言说。而现在那基本被解决了。我觉得那是你那篇文章的部分语境。现在重点变成了准确地建模世界。

阿纳斯塔西斯：正是。我们是这样看的：DeepMind 最初有一句使命宣言——先解决智能，再用它去解决其他一切。但我认为从「其他一切」开始也可能是有价值的，因为这个世界里的复杂性和细节太多了，要从人类对世界的描述里直接学很难。我们假设语言模型是从人类写下的关于世界的一切里学的，也就是我们到 2020 年代为止的理解。但有太多我们不知道的东西、太多没有被现有文本捕捉的东西，包括世界的低层动态——我们并不会详细描述它们。如果我让你描述你怎么系鞋带，这件事很难用语言描述，但演示出来非常容易。所以我认为存在一种「X 悖论」：我们持续低估那些我们作为人类下意识做出的行为里包含的复杂度，而且我们甚至未必总有词去描述它们。所以在我看来，模拟世界、模拟物理、模拟世界的动态，一直被低估了；相比之下，我们太看重那些容易谈论的东西。但这个世界有这么多复杂性和丰富性，如果我们直接在这种观测数据上训练，而不是在人们如何描述世界上训练，我们会学到本来不会知道的新东西。 swyx：你觉得现在的架构范式就够了？你不需要再加一层，比如 JEPA，就像另一位著名的纽约 AI 领袖会说的那样？ 阿纳斯塔西斯：我们是一个很务实的研究实验室。如果有证据表明另一种方法比我们在用的方法更好，我们毫不犹豫地换。我们只是没有看到任何迹象表明视频预测本身不能扩展。即使只看现在——不只是我们的工作，也包括别人的工作——你在机器人领域看到的一些最有希望的工作，都是从视频预测模型出发，然后再把它们改造成也能做动作的模型。所以几乎没有证据表明你需要别的东西、或者把你的时间花在某种新架构改动上比改进数据、改进并放大当前方法更值。我们没有任何迹象表明——有一条反论，我记得扬·勒昆几天前发过一条推，说理解世界的动态和生成可爱的视频是完全不同的两件事。 swyx：而你的答案是不，它们是同一件事。 阿纳斯塔西斯：对，它们是同一件事。 swyx：我的猫视频和「理解物理」是同一件事。 阿纳斯塔西斯：对，因为如果你想生成——视频模型可以作弊，它可以给你连续几个不同机位的场景，而不需要真的去模拟困难的物理。有各种方式可以掩盖模型的缺陷，所以重要的是不要被当下视频模型的性能骗得太深。挑几个成功案例然后认为视频模型比它实际的进展更靠前，是很容易的。所以我们要做的工作还有很多，才能让那些模型变好。但在我看来，这跟语言非常相似：你从几乎不连贯的句子，走到能和人对谈，再走到能自主运行一天、能写出整个代码库。这中间主要的变化是有些架构改进，但核心是规模。所以视频上是同一个赌注，我们没有看到它饱和的迹象。我们有用来衡量这些模型物理能力的基准，我们看到随着模型放大，它们可预测地变好。如果你想谷歌一下，Physics-IQ 就是其中一个基准，它衡量模型在固体力学、流体力学或者光学上的表现。 维布：我很好奇你有没有看到某种涌现，围绕这件事的某种缩放定律。 swyx：对，他说的就是存在缩放定律，对吧？ 阿纳斯塔西斯：正是。 维布：对。 阿纳斯塔西斯：那些基准是这样运作的：研究者去拍下几段能代表不同物理现象的视频，然后你取第一帧，把它喂给一个图生视频模型，生成一段推演，显示接下来应该发生什么。比如有一个球吊在天花板上，你把它作为输入，然后模型预测球该怎么落到地上。这衡量的是——我们对物理有一种直觉理解：我知道，如果我把这个瓶子丢下去，你能想象接下来会发生什么。所以它衡量的是模型身上同样的直觉物理理解，我们在不同的模型规模和算力规模上测过，我们看到 Physics-IQ 的得分可预测地变好。你还有别的技巧和办法可以把分数推得更高，但仅仅是规模本身就有帮助，模型能学到更好的物理。 swyx：我对扬·勒昆的主要共鸣在于那个柏拉图洞穴的寓言，对吧？你学的是一个东西的输出，而不是这个东西的内部过程，而且它非常嘈杂。要是你能观测到一个东西的内部就好了。人的心智内部很难观测，但你完全可以观测——或者说我们有一整套科学和物理学分支，去研究怎么建模物理、运动和重力以及其他相互作用，而我们把这些全扔掉了，只说「把数据放大」。这非常符合无监督学习的教训，但它感觉是错的。这就是主要的意思。

阿纳斯塔西斯：我觉得机器学习的历史，大体上，就是让人感觉错。 swyx：对。这就是苦涩的教训，对吧？对，那就是最简单的回答。 维布：我猜，你能放大到什么程度？比如说在视频生成这一侧：视频理解是一块，视频生成这边，我们还会不会有那种工具，我想要生成两小时、二十小时的视频？有一种基础设施层面的做法是分批做再拼起来，但我们就一直放大下去吗？长时生成的一致性，所有这些东西都在规模上解决吗？把它接到我们现在的位置——我们从 Runway 2 看到 Runway 4.5——

阿纳斯塔西斯：对。 维布：就是到今天的这些技术进展，然后你觉得事情还会往哪走？ 阿纳斯塔西斯：答案里有一部分肯定是规模。那是我们通过 Gen-3 狠狠学到的一课。Gen-3 是我们第二年发布的模型，也就是 2024 年。那是在 Sora 发布几个月之后。所以这个的来龙去脉也有一个很有意思的故事。Gen-3 对我们来说，是第一次我们真的需要建——我们不得不在几个月里，把语言模型世界在两三年里学到的所有课都学一遍。Sora 最大的变化之一，是用扩散 Transformer 代替了卷积网络。早期很多潜空间扩散模型，扩散那部分都是卷积网络。扩散 Transformer 那篇论文在 2023 年某个时点出现，它展示了图像扩散 Transformer 的缩放定律。那时我们意识到，我们需要投入模型并行的基础设施，真正把训练扩到几十亿参数以上的模型。我们大概花了 2023 年整个秋天去搭分布式训练的基础设施。在试着放大图像和视频扩散 Transformer 的过程中，我们走了很多弯路、失败了很多次。而就在那个时点，2024 年 2 月，Sora 出来了，结果—— 阿纳斯塔西斯：比 Gen-2 能产出的东西强太多了。推特上有很多关于 Runway 的议论：Runway 完了，Runway 不可能追上来。如果你还记得，那时候的 OpenAI 也——感觉它就像一个—— swyx：一飞冲天。 阿纳斯塔西斯：它现在也是一个可怕的对手，但在那个时点，他们正处在巅峰，没人能接近他们。也许 Gemini 只是刚放出第一个版本。所以当 OpenAI 带着 Sora 出现、质量上是那么大的一次跳跃，它给了我们——有几个小时是存在主义式的危机。但我认为 Runway 了不起的地方在于——我们现在已经存在八年了，在 AI 里几乎是恐龙——我们不得不，我们有很多那样的时刻，必须很快地学习、适应，并在团队里把原本没有的技能建起来。所以如果你问任何一个当时在 Runway 的人，他们最喜欢的一段是什么，答案会是那三个月里要把模型做到比 Sora 更好。我们把模型规模和训练用的算力都放大了 10 倍。我们搞懂了模型并行，而在此之前我们在这上面是零经验。然后那个夏天我们拿出了 Gen-3。所以那对公司来说是一个很大的转折点：研究组织长得非常快，而在 Gen-3 出来之后，我们才真正开始认真地追求通用世界模型这个愿景。 swyx：对。你在建东西的时候，最了不起的一点就是没有现成的栈可用，一切都得自己发明，你必须完全全栈。现在我觉得有 Fal 这样的推理专家可以帮忙做模型服务，我知道你们也和他们合作。但在当时就什么都没有。想想当 Sora 出来、人们质疑你的公司是否还应该存在时你会做什么，这件事非常有意思。

阿纳斯塔西斯：对。而且当时没有——扩散模型连个 VLM 都没有。我们必须把整个模型服务基础设施搭起来，让一切高效。Gen-3 发布几个月后，我们发布了 Turbo 版本，我想那是第一个进入生产的步数蒸馏模型。 swyx：那是一个我们报道过的整体趋势。对。 阿纳斯塔西斯：它让我们能更大规模地服务那些模型，因为我想 Gen-3 的第一个版本服务成本相当高。 swyx：我觉得整个那个潮流——一致性模型、Lightning、Turbo 等等——不知怎么没有真正留下来。我不知道你对这个有没有什么反思。因为当时我是这样想的：一切都应该先用蒸馏模型开始，然后你再往上放大，对吧？也就是说，你更大的模型不过是变成了花哨的放大器，但你应该总是先用更小、更快的模型起草，对吧？因为你能那么快拿到结果，接近实时。 阿纳斯塔西斯：对。我不会那么肯定地说它没有留下来。我认为它很可能会留下来，现在有大量步数蒸馏模型在生产里被积极使用。相比非蒸馏模型，质量上仍然有差距。但在我看来，我们跟语言模型还有两三年的落差。所以只是时间问题，会有更好的蒸馏技术。我们现在有一个实时模型叫 Core Character，我想它是实时视频模型最大规模的一次部署，它就是一个步数蒸馏模型，正在被积极使用。相比通用视频模型，这是一个非常具体的用途。这是—— swyx：顺便说一句，很酷。 阿纳斯塔西斯：这是虚拟形象那一类，对吧？ swyx：一致性，角色。 阿纳斯塔西斯：对。这是一个说话的数字人模型。我们把它优化到底，它输出 24 帧每秒，是一个步数蒸馏的自回归视频模型。所以如果看我们的世界模型方向，很大一部分工作就是从「一次生成整段视频的双向扩散」出发，把它变成自回归的：一次生成一帧或者几帧。所以要在整条流水线上做到实时模型，需要做很多事。首先你得把它变成因果自回归模型，然后你还得做额外的步数蒸馏，把它变成实时的。我认为这一部分才刚刚开始。如果两年之后我们不是主要在用实时模型，我会非常意外。对我来说，实时视频生成就是不可避免的：用户体验好得多、服务成本便宜得多，而基础模型和实时模型之间的质量差距，只会随着我们找到更好的蒸馏技术而缩小。我们在内部就「蒸馏时保住基础模型质量」这件事，已经取得了不少进展。 swyx：这里面有多少是可以迁移的？它们用的是同一个基础模型吗？比如你做的是整段序列上的扩散，然后把它转成步数自回归的蒸馏——这是那种两个模型都得训的蒸馏吗，还是你可以在同一个基础上用转换器？从技术上讲，从普通模型到实时模型，这个过程是什么样的？ 阿纳斯塔西斯：扩散模型的好处是，你有两条蒸馏的轴。一条是把模型蒸馏得更小，这跟大语言模型里做的很像；另一条是让它需要的步数更少，也就是更少的扩散步数。所以你可以拿一个五十步生成的模型，让它四步生成，性能会有一些下降，但很多时候你能拿到可比的结果。你甚至可以把最大的前沿模型做步数蒸馏，然后拿到实时性能，这就是我们看到的情况。所以看具体用例：有些情况下我们也会用小一点的模型来服务，但在很多情况下，我们直接用的就是—— swyx：步数蒸馏。 阿纳斯塔西斯：前沿模型，而且我们能让它实时跑起来。 swyx：我觉得现在是个好时机，切到你的笔记本上，展示一下你们在做的那些实时的东西。

阿纳斯塔西斯：这是我们最近做的一次研究更新。我们一直在把通用世界模型推向不同的应用。其中一个我们觉得非常有说服力的方向，是把通用世界模型当作软件的界面——一个通用界面。这是我们世界模型的一个版本，叫界面世界模型。它的想法是，它本质上是替代软件应用的前端：它直接渲染出界面的像素，并被训练成能预测在你点击、或者与界面发生其他交互之后接下来会发生什么。所以这里全是像素。这个界面背后没有 HTML、没有 CSS、没有 React，它直接就是实时视频生成模型的输出，并且直接把点击作为输入。

swyx：还有拖拽，点击并拖拽。 阿纳斯塔西斯：对，所以它支持—— swyx：哦。 阿纳斯塔西斯：对，点击。它支持拖拽，也支持滚动。而这件事了不起的地方在于，你可以在提示词里有效地描述你想要不同元素怎么样——比如你想让不同元素的行为是什么。所以它几乎就是：你可以把界面从一种标记语言的描述、比如 HTML 界面的描述，变成直接描述这个界面——如果我按这个按钮，我期待发生这个；如果我按这个按钮，应该发生那个。我们相信它既对做原型有用——就是去试不同交互感觉起来怎么样——你也可以给它加音频。因为它是一个视频音频生成模型。所以你实际上既能描述点击带来的视觉结果，也能描述随之而来的音效。我们相信这会是一种灵活得多的造软件的方式。直接渲染——为什么还要先生成能生成像素的代码？直接生成像素就好了。 阿纳斯塔西斯：这是把端到端的哲学用在了前端上。 阿纳斯塔西斯：所以我们认为有几个有意思的用例。你可以在它之上做创作工具。 阿纳斯塔西斯：我们认为，对任何涉及大量探索的用例，或者教育类的用例——你想了解一个新概念、想要某种可视化、想要开放的探索——我们认为这是一种非常有力的方法。你可以想象由此浮现的新形态的设计软件、工业设计软件。而这一切也都是实时生成的。所以你可以做出很多有意思的镜头转场和交互形式，而这在别的方式下非常难做。我们评估它的一个方式是：如果让 Claude 去生成同一个界面，直接给 Claude 提示——「这是我用 Figma 或者别的地方做出来的界面图像参考，请做出这个特定交互」，在这个例子里是把这个物体往上拖——结果除了更慢，它也很难仅靠大语言模型捕捉到某些交互。所以我们认为这很可能就是未来很多软件的造法。另外一个额外好处是，个性化用这些模型可能容易得多：你可以根据访问这个界面的人是谁，去试不同的提示词；为了无障碍，你可以更容易地把界面「提示」成更大的字号；或者你也可以满足某种特定的审美偏好。所以我们对这个方法非常兴奋。它还很早期，而且我认为我们还需要让它服务起来更省钱，因为跑一个实时视频模型，和纯粹渲染 HTML 相比，算力需求高得多。但我们确实看到这种方法在构建前端界面上有很大潜力。 swyx：我们之前和 Ethan Hara 那期在 Groq 上聊过类似的东西，叫 Flipbook。对，我觉得它在视觉上非常吸引人，可能对教育非常好，但它听起来确实很贵。不过我认为成本会有上限，对吧？推理成本会随时间下降，你们会找到优化的办法。本质上，当它暂停时——你没有在接收人类输入——你就不用生成任何东西，对吧？ 阿纳斯塔西斯：对，你也可以——在这个例子里，画面里有环境运动，所以屏幕某些部分可能——比如说你想去巴黎，然后你拿到这个界面，它让你去探索—— swyx：有人在走。对。 阿纳斯塔西斯：画面里有人在走，或者有事情在发生。但这就是不行——对，这会让它更贵，因为你需要一直跑这个模型。也许你可以用某种循环机制，这样就不必一直跑。但所有这些，我认为都是我们需要去解决的问题。

swyx：对。 阿纳斯塔西斯：我觉得我们首先要考虑的是：先明确找到一些用例，在这些用例里它相比传统界面明显是更打动人的交互。然后让它服务起来更省钱，就只是时间问题。 swyx：对。说到画面里有人在走，我觉得最讲得通的做法是 Nick—— 阿纳斯塔西斯：Nick。 swyx：天啊，我总是把他们的名字搞错。和克里斯·曼宁、还有樊妮·严一起。我不知道你有没有看过他们的工作：他们映射到某个游戏引擎，我想是 Unity 之类的，或者 Godot，然后你可以在背后写一些 NPC 行为的脚本，然后在那上面训练。而在这里，你真的可以想象任何东西。那是一个界面，对吧？而且，创造一个可以交互的软件世界模型，感觉更容易处理一些——因为我们有大量这样的例子，你可以在上面做那些花哨的强化学习环境；这比放大到具身的、真实世界的物理用例要容易。但这是一个很好的第一步。 维布：或者反过来：你有十亿参数的模型、三亿五千万参数的语言模型，小到它们只是在预测鱼在动。 swyx：小模型现在都是 1200 亿了，所以。 维布：设备上的超小型。 维布：不过，我觉得它至少让我把事情放进更大的视角里了——尤其那个车的例子，那些应用，对吧？做这件事的工作量确实很大，当然你一年只做一款车型，但把这件事应用起来，比起手工做这一切也是省成本的，对吧？所以它也打开了很多可能性。我很好奇，如果你把它推到两三年后，你觉得事情还会往哪走得更远？

阿纳斯塔西斯：本质上，界面世界模型这类东西的终局，是你有一个完全神经化的操作系统。我记得安德烈·卡帕西很久以前写过这个。但对我来说有点奇怪的是：比如今天你和一个大语言模型交互，你有一个能跟你聊任何话题的模型，你可以把对话带向任何方向，它非常通用，所以能解决各种不同的任务，但你通过一个非常僵硬的界面与它交互。所以在我看来，界面本身变得可学习、成为整个回路的一部分，只是时间问题：你交付的不只是一个——你交付的是一个端到端的应用，那意味着你交付语言模型，也交付渲染和像素，而那也是一个可学习的组件。而「应用」这个概念未必还——我认为我们需要为软件想出新的抽象。「应用」这个概念来自这样一个想法：你需要各自独立的代码库去描述、去驱动每一个工具、每一个应用。但如果你有一个随用随生成的视频模型在生成界面，你就可以设想某种远为统一的东西：它可以从大语言模型那里获取上下文，让你把传统上存在于不同应用里的功能组合起来。所以这实际上是一种端到端地解决软件的方式。我们也把它看成训练「电脑操作智能体」的一种有力方式。这也是一种理解它的方式。而总体来说，世界模型有两个方向：一是给人类用的世界模型，二是给—— swyx：智能体。 阿纳斯塔西斯：训练智能体用的。 swyx：对。 阿纳斯塔西斯：所以对我们做的每一项新的世界模型工作来说，这两种用途都会同时成为可能。所以这是一个强大的合成数据生成器，可以用来训练电脑操作模型；它也可能变成一个活的强化学习环境，你可以用它和电脑操作智能体做在线强化学习，你可以拿到各种不同交互、不同界面种类的广泛多样性——全都在运行时生成出来——来提升你的智能体有多健壮。这对我们为机器人用例做的世界模型也是一样的。

swyx：有没有一个你正在等待的研究突破，它能解锁你真想追求的下一批用例？ 阿纳斯塔西斯：长上下文是非常重要的一个，也就是能在很长时间里保持一致性，而这取决于用例。比如对我们的角色模型，或者对界面世界模型来说，保持很长的交互会话更容易。但如果你进入更开放的世界——你在里面导航、做任意动作——你能生成内容的上下文与时长就会更快地受限。

swyx：对。 阿纳斯塔西斯：所以我们会看到更多退化、更多误差累积。自回归模型最大的挑战就是误差累积：你把生成出来的帧喂回模型，用来生成接下来的帧；只要有任何小的错误，它们就会随时间累积。这不是一个新问题。大语言模型也有这个问题，而我们现在已经看到它们能生成长度很长的输出。所以这是一个被解决的问题，但它确实仍然是一个挑战。 swyx：对。那现在的最高水平是什么？比如对 Grok 来说，可能是十几二十秒的上下文进去做视频。 阿纳斯塔西斯：用我们的角色模型，我们能以自回归方式生成最长 30 分钟的视频。 swyx：对。但那只是给虚拟形象用的。 阿纳斯塔西斯：对。如果看 GWM Worlds，那是我们更偏开放世界探索的模型，它是在几分钟的量级。对，所以—— swyx：对人来说大概也够了，因为你总是要切到下一个场景，对吧？ 阿纳斯塔西斯：对，如果每隔几分钟就要重新开始，这不是理想的游戏体验。但我认为——对某些类型的游戏体验，你可以绕过去。理想情况下，你能一直生成下去而不退化。我认为我们走到那一步只是时间问题。 swyx：对。Genie 大概是——最多一分钟？ 阿纳斯塔西斯：对，是。

维布：这是你——你们做了一个机器人方面的研究。我这边还有你们 Runway Robotics 的页面，不过是不是这个更好？ 阿纳斯塔西斯：去年我们发布了 Gen-4.5，那是我们最新的基础模型。如我提到的，我们一直在世界模型上做这些工作，而我们在世界模型上的方法，很大一部分就是：怎么把一个双向扩散模型变成自回归的、并且让它接受动作输入？这样它就不再是一段你观看的视频，而变成了一个你可以走进去、每一步都能控制的模拟。你可以探索反事实：如果我做这个动作，和如果做那个动作，分别会怎样。GWM-1 就是我们在 Gen-4.5 之上建的世界模型。我们在 Gen-4.5 之上把这些做了：自回归、蒸馏、自回归加步数蒸馏。而 GWM-1 我们看到的最大用例之一就在机器人。我们喜欢说的一句话是：在放大视频模型的过程中，我们意外地做出了一个机器人领域最先进的模型——只是靠放大视频模型。我们在去年年中某个时点意识到，有机器人实验室来找我们，想用视频模型做合成数据，想让我们把视频模型后期训练成特别适合机器人的样子，好让他们用来生成变体。那是我们看到的第一个用例。然后越来越清楚的是，这些模型的用处不止于造合成数据来训练机器人策略：它们还会是非常有用的模拟器。这意味着你可以在线用视频模型来测试你的机器人动作模型表现如何：你取一段动作，然后在这个世界模型里得到这个动作的结果，再继续这个回路——像这样的闭环模拟。你可以用这个来评估你的机器人模型效果如何。而如果你想做模拟器，我认为最大的问题是要建立与真实世界的相关性：如果我在世界模型里做一个动作，和在真实世界做同一个动作，得到的应该是相似的结果。这就是我们今年早些时候一些工作的目标。如果你点第一个链接——那本质上是要为我们的世界模型建立真实与仿真之间的相关性，这样如果在世界模型里做一系列动作、在真实世界做同样的动作，你能得到相似的结果。我们拿 GWM-1，用了一些基准数据——有一个叫 RoboArena 的基准，常用来评估不同的动作模型表现如何。我们在自己的世界模型里用了同样的场景、设置和本体，然后测量动作模型在世界模型里的表现和在真实世界里的表现之间的相关性。我们看到，我们的世界模型和现实之间能得到非常好的相关性。这意味着如果你想评估你的机器人策略表现如何，你可以在仿真里快得多地放大这件事，而不必用真实的物理硬件去做。所以那是最早的一个迹象，表明我们的模型在机器人上可能相当有用。而随着和机器人实验室合作，我们看到它成了第一个用例：他们能以某种方式把视频模型用进自己的训练流水线。 维布：我能问一下—— 阿纳斯塔西斯：可以。 维布：从 Gen-4.5 到解决那个问题，差别在哪？仿真到真实的落差一直是个问题，对吧？你在视频数据上训练一个机器人模型，它泛化不到真实世界，而仿真又有它自己的问题。看起来你们把它解决了，但怎么解决的？ 阿纳斯塔西斯：对。模拟器的一个大问题是：如果你要模拟的是刚体，那它工作得相当好——只要你能非常准确地描述物体的物理，你就能用 Isaac Sim 或者 MuJoCo 或者某个传统模拟器。但对更复杂的交互，比如布料，或者滑溜的表面，以及所有那些你希望能用操作类动作模型解决的复杂度——要为每一个环境、每一个任务都建出那个环境的仿真版本、它的数字孪生，是非常困难、也非常耗时的。而用世界模型，你只需要提供第一帧，就能在第一帧里把策略推演出去。我们拿它和那些需要先做环境三维扫描、再对每一个物体做三维扫描才能进入仿真的方法相比：用世界模型，你只要拍一张环境的照片，就能测试你的策略表现如何。我们关于机器人的总体判断是：有些公司利用大量遥操作数据来训练机器人动作模型；现在也有一些公司在用「人类数据」，本质上是人戴着机器人手套去做各种操作任务的自我视角视频；还有一些公司在做自我视角数据，也就是在一个人头上绑一台 GoPro，记录他做某个任务。我们认为，所有这些都是训练机器人模型很好的数据来源，但最充足的数据来源是第三人称视频。而我们人类是怎么学会做各种任务的？很大程度上是通过观察别人做那些任务。我们不是从第一人称学的——我们也会做一些试错来学东西，但归根到底，我们在世界里学会做的很多事，是看别人做学会的。而当你预训练一个视频模型时，你本质上就是在做这件事：里面是大量第三人称画面，人在世界里做各种任务、做运动、做家务。我们的主要判断是：做完视频预训练之后，你就可以用少得多的真实机器人数据，把模型适配成在机器人用例里有用的东西。所以你需要少得多的遥操作数据——而遥操作数据非常难扩。即使看自我视角数据，它虽然比需要真实硬件的遥操作数据更容易扩——

阿纳斯塔西斯：世界上存在的自我视角数据，和第三人称视频数据相比仍然少三个数量级。所以我们的判断是，通常来说，最充足的数据来源最终会赢。第三人称视频预训练，是那种你希望它能泛化、能应对新环境、新任务、训练时没见过的东西的模型的正确起点。这就是我们认为自己的模型在机器人场景里特别有用的动机，而我们也确实看到了这一点。 swyx：你说的是预训练。所以也许是这样：第三人称预训练，第一人称微调？有没有一种可以引入的课程安排？ 阿纳斯塔西斯：正是。如果看 GWM Worlds——不，GWM Robotics——在机器人这条线里，它是从 Gen-4.5 长出来的。 维布：还是同一个视频扩散骨干，对吧？

阿纳斯塔西斯：正是。你从基础视频模型出发——就是那个用来生成猫猫狗狗和其他有趣东西的模型——然后在非常少的机器人数据小时数上做微调。也就是几百小时的量级，相比之下，如果你要从头预训练一个机器人模型，现在预训练会用到十万小时甚至几百万小时的数据。而你能很快拿到相当好的性能，因为模型利用了它在预训练中学到的关于世界、物理和人的动态、以及人们关心的那些任务的一切。最终，你希望这些模型能泛化：你不希望它只能做训练时做过的任务。而预训练视频数据集里动作和环境的多样性，比你能手工现实地采集到的要大得多。 维布：后期训练这边的规模看起来是怎样的？还是一样的，大概 90% 的算力在常规视频扩散模型上，然后再放大很多？还是说我们想要不同任务用不同的机器人模型，还是说只要有一个基础的好世界模型也能用在机器人上？ 阿纳斯塔西斯：目前，我们是为特定合作伙伴的特定本体做后期训练。如果他们有一台特定的单臂机器人、双臂机器人或者人形机器人，我们会把 GWM 机器人模型在他们的特定数据集上做后期训练。随着时间推移，我们看到 GWM 的不同变体会统一起来。比如，我预计一年或者两年之后，你会有一个单一的世界模型，它能模拟操作任务，也能模拟导航——游戏世界里很多世界模型都是导航型世界模型，你在空间里移动——它还会模拟人的行为，那也就是角色模型。所以不是三个不同的模型，而是一个模型能做到——理想情况下，你能模拟身处世界之中是什么样：你在环境里移动，你可能在做不同任务，你在和别人说话。而这一切都由同一个实时视频模型生成。 维布：你觉得你能解决自动驾驶吗？如果你在模拟器里学开车，你有一个世界模型，你的机器人、或者说车，能操作那么多轴。离那样的东西还有多远？

阿纳斯塔西斯：世界模型—— 维布：或者一个非常好的高级辅助驾驶系统？ 阿纳斯塔西斯：世界模型现在确实被用到了自动驾驶研究里，主要是在评估用例上，但我们的重点更多在机器人操作。我们在自动驾驶的世界模型上也做过一些工作。对，我们确实认为，世界模型和视频模型既是模拟器、也是策略和动作模型最好的起点。这是这件事的另一面：一旦你有了一个很好的世界模型，你就可以加一个动作头，它也能预测动作。一种理解方式是：如果你取一个有机械臂的场景的起始帧，然后提示模型「生成机械臂把物体拿起来」，如果它生成的视频足够准确，那它也应该能生成机械臂完成同一个动作时应该经过的那些精确的三维位姿。这就是现在被叫做「世界行动模型」的方向：你从视频模型出发，加一个动作头来预测动作，它本质上就变成了一个策略。 swyx：另一件让我印象深刻的事是，训这类模型需要多少数据。你大概不能准确说多少，但比如最早的扩散模型，以及据我所知甚至那些开源的模型，用的数据都不算多。这不让人意外吗？ 阿纳斯塔西斯：你怎么定义「多」？ swyx：对，它就是——进去就完了。词元数量还重要吗？ 阿纳斯塔西斯：这件事要更复杂一些，而且—— swyx：也就是几个 GB，对吧？ 阿纳斯塔西斯：对，按视频小时数算，对吧。 swyx：对。对。我觉得有意思的是：语言模型里我们说的「词元对参数量」，它们可能领先三年或者怎样，看起来仍然比视频模型高得多——尽管从技术上说视频每一比特的信息更多。我不知道这算不算直觉上的，也许只是相邻像素之间的变化本来就不大，所以可能有大量信息是重复的。

阿纳斯塔西斯：我的答案是：现在仍然非常早期。视频模型的训练会放大到远超现在的规模，你会看到远超当前模型的能力。我喜欢用这样一个思想实验，它几乎是视频模型的图灵测试、或者说世界模型的图灵测试，我把它叫清醒梦测试。就是你有一个—— swyx：你说的是真的那种人的清醒梦？ 阿纳斯塔西斯：它来自这样一个想法—— swyx：是 Lucid Rains 吧？ 维布：清醒梦是指你在做梦的时候知道自己在做梦。 swyx：对。 阿纳斯塔西斯：对，正是。清醒梦就是你意识到自己在梦里，然后你能控制梦里发生什么。 swyx：不是，也有一个做推理的人叫 Lucid Rains。对。或者量化—— 阿纳斯塔西斯：非常高产的人。对。那么假设你有一个 VR 头显，你在一个房间里、戴着这个头显。今天大多数 VR 头显都有透视模式，所以你能直接看到眼前世界里的东西；或者你可以在头显里渲染一些东西。总会有一个时点，这些交互式实时视频模型好到：你戴着这个头显，在同一个房间里走动，和物体交互，你能在房间里自由移动、和任何物体互动。到最后，有人问你：你刚才是用了透视模式，还是这是渲染或者生成出来的画面？如果你没法确定你刚才走动、互动时看到的东西是生成的，还是透视模式里你眼前真实发生的事，那就说明这些模型已经足够好了。而我们离那个还很远。其中很大一部分就是「真正把动态和反事实模拟好」这件事。比如，如果你让一个视频模型生成一个人进球、和一个人没进球，它在「进球」上会做得更好，因为训练分布有偏：一个人成功进球的视频多得多。但如果你有一个交互式模型，你会希望它能生成反事实——如果我做这个动作、和做那个动作，你希望它生成同样真实的结果。所以我认为，视频模型和世界模型之间的那个大缺口，就是反事实生成这件事。而如果你想要一个用于机器人的好模型，你会希望它能很好地模拟失败，因为无论你是拿它做评估，还是未来拿它做在线强化学习的回路，你都希望模型能尝试、失败、然后改进。要做到这一点，你就得能模拟事情失败。 swyx：这是唯一一个你「成功案例太多、坏例子不够」的领域。生成失败应该很容易。 维布：说也奇怪，我觉得早期的图像视频模型并不擅长做得像人真实生活那样，对吧？你看到很多高分辨率的 4K 专业摄影，但不是日常生活里普通的样子。所有东西看起来都像专业生成的、专业的照片，而不是那种普通的、比如桌子上乱糟糟的电线。 swyx：好。还有一件事我们也报道过，就是你们发布的视频智能体。我猜，传统上我们说的前沿、也就是自回归大语言模型，是怎么接进这一切的？它们在驱动你们的机器人模型吗？还是在驱动别的、你们的视频智能体、生产，任何你看到自回归和扩散重叠的地方？

阿纳斯塔西斯：对，harness 在所有这些不同用例里都非常重要。我们有这个视频智能体，它本质上是一个大语言模型，非常擅长使用各种图像模型、视频模型这些工具，帮你端到端完成一个项目。比如在传统的广告流程里，你有一个 brief，从这里开始，然后你生成一个分镜，再生成视频。视频智能体——也就是 Runway 智能体——帮你走完整个过程，它也帮你分析表现数据：比如这条广告和那条广告相比表现如何，然后基于这些经验给我生成更多，判断该生成什么。我们认为 harness 是流水线里非常重要的一环。如我提到的，所有生产级的视频模型都会做某种提示补全，我们预计这会变得越来越复杂：在你用扩散 Transformer 之前，先产出更长、更详细的描述。我确实认为最终会越来越多地统一为全模态模型，你端到端地训练模型，既做自回归的文本预测，也做扩散。所以你在预测下一个词元——也许你在用一些推理、对场景做规划，然后把它送进生成像素的扩散头。

swyx：对。我觉得目前也许只有 Gemini 和 Qwen 这么做。我不确定哪些中国模型是全模态的，但它确实不是一个很普及的模态。 维布：想起来其实是个很有意思的用例，对吧？因为你不仅要在语言模型推理那里结束，扩散生成那里结束——你不必在那里输出。你可以回头把那个输出喂回同一个模型，再对改进做一次推理，它自己就能跑很多轮循环。我猜问题是：我们需要那样吗，还是我们只做智能体脚手架、在模型外面做就行？在模型内部做有很大的好处吗？ 阿纳斯塔西斯：我认为总体上存在这样一个趋势：一件事先由 harness 来做，然后它变成模型的一部分。比如链式思维提示，你曾经需要写那种超级详细的系统提示—— swyx：对，一步一步来。 阿纳斯塔西斯：才能拿到输出。而现在模型在给你答案之前会自己生成推理轨迹。视频模型也一样，早期很多视频模型是单镜头的，你得用某种编排器并行生成多个镜头，再把它们变成一段真正的视频。 swyx：或者在 ComfyUI 里，就是一堆节点。 阿纳斯塔西斯：对，像意大利面一样的工作流。而现在你有了多镜头视频生成，可以直接生成多个镜头。这里面是有好处的，因为这样视频模型会学到一些东西：要生成好一个单镜头，你需要搞清楚很多关于世界的事情；要把多镜头视频生成好，你还需要一些剪辑的直觉——你得判断镜头的节奏怎样才对。而大语言模型在这上面并不太行，它们不是很好的视频剪辑师。如果你让一个大语言模型拿几段视频自动剪成一条片子，会感觉很不对劲。所以我认为大语言模型在当视频剪辑师上还没那么好。而我认为端到端地学这件事是有好处的。所以我预计，总体而言，那些你曾经需要 harness 的东西最终会被注入模型本身，你端到端地把它学出来。

swyx：你有没有发现，你需要招那些同时是艺术家的工程师或者研究员，才能把那种品味注入进去？还是你们有驻场的艺术家去蒸馏他们？ 阿纳斯塔西斯：我们有一个很大的创意团队，非常积极地参与这些模型的训练，可以说参与了每一步。比如怎么给视频打标签，才能尽可能详细地捕捉到摄影、美学、镜头调度这些你需要的东西，好让你在推理时能通过模型把它们激发出来。我们的创意团队也做大量评估：在这些模型的输出里，什么才算一条可用的视频。所以他们深入参与了每一个环节。我认为这是 Runway 特别的地方之一：创意人和研究员坐在一起，肩并肩地共同构建我们下一代的模型。我认为这对我们作为一家公司的运作方式来说，是非常重要的一环。 swyx：对。不过从某种意义上说，你只能在纽约做这件事。 维布：这就是—— swyx：也许你们有别的办公室，但我想从「你们是一家很大的纽约公司」这个事实里找出一点诗意。 阿纳斯塔西斯：在纽约有几个部分。有那些不同产业的交汇：媒体、广告—— swyx：对，这很广告。 阿纳斯塔西斯：艺术圈就在纽约。不是说旧金山不好，但那边——有更多事情在发生。这是其中一部分。另外我认为我们还受益于「局外人」的身份，会用稍微不同的方式想事情，不处在同一个—— swyx：蜂群思维。 阿纳斯塔西斯：ASI 的、湾区的那种蜂群思维里，而且我们花了自己的时间去走到今天：有意图地建设、扩张团队，把创意侧和工程研究侧的人都带进来。纽约有巨大的人才池，很多厉害的人，所以这倒从来不是问题。

swyx：祝贺所有这一切。你们在招什么人？人们对 Runway 的未来应该期待什么？ 阿纳斯塔西斯：我们各个方向都在招。我想这大概是 Runway 历史上开放职位最多的时候。我们的研究团队在显著扩张。所以如果你对视频模型兴奋、对世界模型兴奋、尤其是对机器人兴奋，机器人团队在软件、硬件和研究上都有职位在招。一定要联系我们。 swyx：而且很多人并没有机器人背景。如果他想在机器人这件事上有用，应该具备什么？ 阿纳斯塔西斯：理想情况下，有一些学出来的策略方面的经验会有—— swyx：就是强化学习？ 阿纳斯塔西斯：对机器人有好处。但我们的哲学是倾向于招通才，招学得很快的人。不过在接下来几个月里，机器人方面的领域专长确实是我们明确在找的。然后我们也在显著扩大 go-to-market 团队。现在围绕视频模型有很广泛、很活跃的企业级采纳正在发生，我们真的在努力回应所有这些需求。 swyx：对，太好了。你想聊聊开源机器人那部分吗？ 维布：好啊。那只是我们随手记的一些笔记。 维布：英伟达发布了 Cosmos。我觉得挺有意思的。你们是 AI 实验室里的创始成员，一起做物理 AI 的开源世界模型。这里还有什么关于开放研究可以聊的？ 阿纳斯塔西斯：最大的一点是：如我提到的，这些模型还很早期——你能放大的东西还有很多，能想出来的改进、以及怎么进一步提升这些模型，还有很多。而我认为，其中一部分研究发生在开放环境里是很重要的：想清楚让不同公司聚到一起、把一部分研究带向开放和开源的激励是什么。Cosmos Coalition 就是我们和英伟达共同发起的倡议，把一部分那样的研究做成开源。这可以意味着开放权重的模型发布；可以意味着基准，用来衡量物理、以及人们做世界模型时在乎的那些东西；也可以意味着基础设施。所以真正的问题是：我们怎么把世界模型的生态做大，让一个刚入门的开发者、研究者——只要他对世界模型兴奋——更容易为这个领域做贡献。

swyx：我觉得这里有一点——有没有一部分考虑是：这也是我们对那些正在发布的中国世界模型的回应吗？还是说这根本不在考虑里？

阿纳斯塔西斯：我确实觉得这很重要。就英伟达的模型来说——如果你看视频模型的排行榜，我会说现在前十、前二十里大多数是中国的模型。只有少数几家美国或者西方的公司上了榜。 swyx：对。图像上我们做得更好一些，但视频上我们落后很多，对吧？ 阿纳斯塔西斯：所以我认为，作为一个共同体更广泛地投入，确保我们能有有竞争力的模型，绝对是重要的—— swyx：对。 阿纳斯塔西斯：在外面。 swyx：但比如说，有什么能阻止我们直接蒸馏它们？ 阿纳斯塔西斯：我不确定那是不是最好的长期—— swyx：我不会说他们不会。 阿纳斯塔西斯：你会被你能达到的性能——那有点悲观—— swyx：比如—— 阿纳斯塔西斯：那种「你能做得更好」的看法。你可以—— swyx：它是免费的数据。你不如就用。如果他们在大语言模型那侧这么做，那视频这侧反过来也一样。 阿纳斯塔西斯：对，我确实认为我们目前完全有能力训出很好的模型—— swyx：好。 阿纳斯塔西斯：而不需要蒸馏。对。 swyx：对。

维布：那关于基准和评测，你有什么想说的吗？我感觉我听到的是：很多人非常喜欢视频和图像模型的竞技场（arena），客户之类的也是。他们只想要排行榜上最好的，而且他们比语言模型那边更常引用竞技场。你对基准有什么看法，缺什么？在这些东西看起来都超级真实的情况下，普通人怎么比较？除此之外——我们聊过机器人仿真、物理那些——还有什么想说的吗？ 阿纳斯塔西斯：我认为某种程度上是相反的。我认为一般来说，创意人、艺术家、营销人员，以及其他在用我们平台的人，他们其实更少依赖竞技场分数。因为用一堆不同的模型生成、然后从视觉上比较结果，实在太容易了。图像和视频模型的一个好处是：你一眼就能看出什么从美学上感觉是对的，任何瑕疵、任何物理上的问题，你马上就能看出来。所以作为人类，评估这些模型比评估语言模型更容易——语言模型里那些非常复杂的数学、编程测试，人类评估、分辨不同模型的性能要难得多。所以实践中，人们就是拿同一个提示词在几个不同模型上试，看看结果如何。而现在在 Runway 里，你既能用我们的模型，也能用第三方的模型，所以做这件事非常容易。

swyx：太棒了。我们要以 Runway AI Summit 收尾。最后一个社会议题——我不知道这算不算——就是艺术家、创意人和 AI 之间的张力。那个社群里很多人恨 AI；而在 Runway 社群里的人不介意用工具，它只是另一支笔。但你觉得这种情绪是怎么变化的？ 阿纳斯塔西斯：从我们的角度看，对，它就是另一支笔、另一台摄影机。它是一长串工具里最新的一件。 swyx：艺术里的技术。 阿纳斯塔西斯：技术。 swyx：对。 阿纳斯塔西斯：艺术与技术一直是一起演化的。我认为过去几个月里已经有一个相当明显的转变。其中一部分你能看到：很多公众人物公开为 AI 说话，比如在戛纳，你能看到有几位导演为 AI 说话。我们电影节上还有罗恩·霍华德。马丁·斯科塞斯也在采用 AI 模型。所以每天都有更多这样的故事出来：某个知名人物为 AI 说话。而在我看来，这只是因为这些模型正变得越来越不神秘。我还有一个可能有点「暴论」的看法：让最初的反应比本该有的更激烈的原因之一，是「文生视频」这个概念——你给一句文本描述，拿回一整段视频。

阿纳斯塔西斯：对，那是一个误解：你可以用它生成到一部长片。但今天的模型需要很多参考，它们非常可控。我认为当人们看到一个能提供很多自由度和控制的工具时，他们的反应会不一样。它是不是生成模型变得没那么重要，重要的是你能把它引向你想要的方向。所以我认为，当人们看到建立在这些模型之上的复杂工作流、看到所有那些你能引导它的方式、以及现在一些最新模型能提供最多五十个参考时，对话就变得不太一样了，因为它感觉更像一个—— swyx：分镜。 阿纳斯塔西斯：工具。 swyx：对。 阿纳斯塔西斯：而不是一个魔法实体，能替你想出你的整部电影。 维布：关于这个领域里人们的工作流变化，你有什么想说的吗？我觉得至少工程这边，很多人的期望已经变了：我的生产力是十倍、百倍，我能做更多事。你在给创意人做开发工具，也是同一回事。这方面有什么可说的？有些人不想采用，有些人想。有什么想聊的吗？ 阿纳斯塔西斯：对。就人们在乎什么而言，我看到我们经历过几个阶段。一开始的阶段，人们主要在意的是质量——随着我们放大那些模型，质量大幅提升。这仍然是人们在意的，但现在它变成了可控性之外的附加项：能用参考、用不同种类的输入、用分镜去引导那些模型。而现在我的感觉是，人们会越来越在意延迟。随着模型变好，快速迭代的能力变得更重要。如果你能用一句提示词几乎立刻生成十个不同的输出，你探索的速度就比过去快得多。你会重新拿到过去那些创作工具的特色魔法——比如 Photoshop 是即时的。而有了生成模型，我们失去了一部分：你要等两分钟才拿回一段视频。我认为我们现在会用—— 维布：实时。 阿纳斯塔西斯：实时模型，把其中一部分拿回来。 维布：对。很兴奋。而且——

swyx：很兴奋。最后一件事我们要提一下，就是这个，Runway—— 维布：Summit。 swyx：Summit。你们终于在旧金山办了？ 阿纳斯塔西斯：对。我们非常期待。这是九月三十日，我们做一场峰会，主要聚焦物理 AI 和实时视频生成。我们有来自英伟达、Physical Intelligence、BotCo、DeepMind 的嘉宾。对，我认为这会是一系列很有意思的对话。我们努力让讨论非常技术、引出真正有实质的讨论，也希望有一些有意思的分歧和辩论。对，票还在卖，希望人们能来。 swyx：既然你提到了，人们应该想到、或者你预期会有哪些分歧和辩论？ 阿纳斯塔西斯：比如现在机器人世界里的一个辩论是：VLA（视觉语言动作模型）对世界行动模型。

swyx：好。 阿纳斯塔西斯：有些实验室真的押注在这两个方向之一。还有比如：训练机器人模型最好的数据来源是什么？ swyx：就是我们聊过的第三方、第一方那些。 阿纳斯塔西斯：对。有些人真的相信继续放大遥操作数据，另一些人相信更多利用大规模视频数据。所以这些是其中一部分。然后是世界模型这几场辩论：直接预测像素，对 JEPA 那种方法，对更偏三维的做法。我认为世界模型现在正处在一个很好的时点，因为关于最好的长期方向是什么，还有活跃的辩论在发生。我非常强烈地认为，直接预测视频、放大视频生成模型是正确的方法。但我认为研究者在「最佳路径是什么」上有大量有意思的辩论。

阿纳斯塔西斯：对。而且，我想我一般也不反对把其他模态纳入我们的模型，就像我们看到的那样。 swyx：对。 阿纳斯塔西斯：最简单的情况是它们能同时生成视频和音频——它们能生成 RGB，也能生成声音和音频。但我——我写过这个：世界模型的极大化版本长什么样？就是你把宇宙里越来越多的模态都纳进来，而且你在不同尺度的观测上训练模型。 swyx：X 光。 阿纳斯塔西斯：对，是的。 维布：你有一篇很好的文章，人们应该去读，关于—— 阿纳斯塔西斯：对，对。 维布：真实世界。 swyx：不，Meta 发布过一个模型，一个模型里有六种模态，对吧？ 维布：对。 swyx：我忘了那东西叫什么，但确实——深度是其中之一，不过深度在某种意义上只是 RGB 的一种变换。 维布：ImageBind。 swyx：ImageBind，对。 维布：对。 swyx：还有哪些模态？他们有热成像？ 维布：音频、深度、热成像、文本—— swyx：还有什么 IMU 之类的。 swyx：我确实觉得，你不如把紫外线也做了。你不如就做你想要的任何其他模态，因为对模型来说那都是数据。 阿纳斯塔西斯：对。而且一个大的赌注是：这些模态之间是有迁移的。 swyx：对，对。 阿纳斯塔西斯：我最喜欢的一个例子——现在看相当旧了——是一个 Stable Diffusion 的微调版，叫 Riffusion，它—— swyx：做音乐那个。对。 阿纳斯塔西斯：对，就是把 Stable Diffusion 在频谱图上微调。 swyx：频谱图。 阿纳斯塔西斯：结果它变成了一个相当能用的音乐生成器。对吧？所以可能存在空间模式——如果谈视频的话，是时空模式——在不同尺度、不同模态上出现。所以模型已经做了一定程度的元学习，使得从「只在图像上训练过的模型」出发、再去训练它预测音频，比从头只在音频上训练学得更快。还有一些别的有意思的例子。有一个叫 The Well 的项目，那是一个物理与数值模拟的数据集，涵盖物理、生物以及其他一些领域。所以它本质上是不同物理系统，跨越非常不同的空间与时间尺度，从天体物理到低层的原子级相互作用。我们看到——我们在这上面做过一些工作——我们可以拿我们的视频模型（真实世界的视频跟这些模拟看起来完全不一样），在那些数值模拟上做微调，把它们当作 RGB 帧来处理，你就能比从头训练快得多地拿到合理性能。 阿纳斯塔西斯：对。 维布：我觉得我们在语言上也看到过这件事—— swyx：对，还有 DeepSeek-OCR。 维布：对，DeepSeek-OCR。 swyx：就是你不必把文本分词，可以把它当成图像直接扔进去。 维布：基础预训练里发生了很多事。很久以前有一种说法：人类有那么多感官表征，对吧？嗅觉、触觉。模型还多了两种我们甚至都没有数据的模态。好吧，你可以拿一个空气质量传感器来试试这些东西，但光是基础训练里发生的事就那么多，你从这些小东西里拿到的并没有那么多。

阿纳斯塔西斯：对，正是。我认为它解决的就是数据稀缺。 维布：对。 阿纳斯塔西斯：你没有那么多。你有那么多视频数据可用，但你没有像嗅觉数据那样的—— 维布：酷的地方在于反过来也成立，对吧？所以如果你想做物理、想测量这个，或者你想让一个扩散模型做音频，迁移得非常好。所以比如在你的情形里，为机器人做的那么一点点后期训练，就让一个视频模型把它的基本功用到了另一个领域。那我们也可以把它用到别的东西上。 阿纳斯塔西斯：对。如果我们看怎么让这些模型在科学领域更有用——你看 AlphaFold，他们有那么多——因为数据的缘故，它需要训练的数据量有限，它就是一套非常专门微调的架构，只为了解决蛋白质结构预测。但如果你把那些彼此分散的科学数据源全都拿到一个单一模型之下，我认为那是一种能帮我们在整个科学领域解决新问题的方法：利用从一种模态、或一组数据上学到的东西去解决另一种。这个方向还是很早期，但我确实认为，那最终就是模拟世界的终局：你不只是用 RGB，你把 RGB 当起点，但你可以纳入宇宙里越来越多的模态，并利用从一个模态学到另一个模态时发生的迁移。 维布：我猜接下来的问题是：全模态的缺点是什么？为什么不是所有东西都是全模态模型？还有为什么不是现在？以及，你会从语言骨干出发，还是从图像视频骨干出发再走向全模态？这有区别吗？ 阿纳斯塔西斯：对。我们得一步一步来。我们得先解决机器人，然后才能进到—— swyx：现在就把一切都解决。 阿纳斯塔西斯：对。我确实认为，那些全模态模型还需要发生大量开放式研究。当你把多种模态带进一个模型来预测时，有很多事情需要仔细考虑。但我认为、我预期这些都是可以解决的。

swyx：太好了。你非常慷慨地给了我们时间。祝贺你所有的成功，对，我很期待那个 AI Summit，或者叫物理 AI Summit。 阿纳斯塔西斯：对，谢谢你邀请我。 swyx：对，而且如果人们所在的城市有的话，应该去看看那个电影节，对吧？ 阿纳斯塔西斯：对。 swyx：对。你们会到处巡展。 阿纳斯塔西斯：对。明年我们大概会这么做。我们每年五月或六月办电影节。 swyx：对。 阿纳斯塔西斯：上一次我们做了纽约、洛杉矶、东京，还有 AI Engineer—— swyx：对。 阿纳斯塔西斯：Fair。 swyx：对。对。 阿纳斯塔西斯：所以希望明年能去更多地方。 swyx：不，我觉得总有一天，你会主持 AI 视频界的奥斯卡，我认为人们应该把这个非常当回事，当成一种他们可以从事的职业。 阿纳斯塔西斯：AI 视频的奥斯卡会叫奥斯卡。 swyx：好。好。谢谢你。 阿纳斯塔西斯：谢谢。