机器人先把下一秒演一遍

这一期 Latent Space 是在 Dyna Robotics 位于湾区的办公室里录的：swyx 和维布·诺比一边看机器人拉饮料、叠衣服、拿刀切菜，一边把「机器人底下到底是什么模型」从头问了一遍。联合创始人兼首席科学家 Jason Ma 给的答案很硬——先把下一秒的世界演一遍，再动手。底下是在超过一百万小时第一视角人类视频上预训练的 Dyna-2：它一边预测未来视频，一边输出动作，官方称它给出了第一次出现的人类到机器人的迁移缩放律。节目中还有三件更值钱的事：机器人没有互联网，所以数据比模型更难；一个完整的叠衣服循环已经要一小时；以及这个行业真正难的从来不是演示，是客户信到愿意把几十家门店交出来。12

下面是按官方 16 段时间点整理的逐段要点，再往下是整期对话的逐句中文。出场三人：主持 swyx（肖恩·王）与维布·诺比（Vibhu Norby），嘉宾 Jason Ma（Dyna Robotics 联合创始人兼首席科学家）。1

按官方 16 段时间点整理，时间码是官方口径（全长 1:11:51）。背景补一句：Dyna Robotics 由 Lindon Gao、York Yang 与 Jason Ma 创办，前两位此前做的是 AI 智能购物车公司 Caper AI（2021 年以 3.5 亿美元卖给 Instacart）；公司在 2025 年 3 月拿到 2,350 万美元种子轮，同年 9 月完成 1.2 亿美元 A 轮，由 Robostrategy、CRV、First Round Capital 领投，Salesforce Ventures、NVentures（英伟达）、Amazon Industrial Innovation Fund、Samsung Next、LG Technology Ventures 参投。34

这一期跑到了 Dyna 的办公室现场。维布先交代在场看到的东西：拉饮料、大量评测、第一次看到机器人拿刀——而这一切底下是一个「世界行动模型」，他要 Jason 从头讲清楚那是什么。

Jason 的定义是：世界行动模型一边预测未来视频、也就是世界下一步会变成什么样，一边把这份对未来的预测变成机器人能在物理世界里执行的动作。他给的类比是思维链——模型先在视觉与物理空间里推理，再输出动作。之所以要这么做，是因为人类在物理世界里行动时，大脑也在隐式推演「世界会如何根据我的动作演化」；把这件事做进模型之后，机器人灵巧得多、鲁棒得多，也更能泛化到没见过的环境与场景。

输入这一侧，他列了三样：机器人自己相机拍到的视频（过去若干秒的画面）、关节角度这类本体感受、以及语言指令，并把它们称为任何机器人模型的基本输入集合。输出那一侧，除了动作，世界行动模型还会给出未来视频或它的某种表示——这正是它与纯视频模型的分野。

官方技术页给出的量级是：超过一百万小时的第一视角人类视频，约等于 170 年连续醒着的时间；模型在留出的人类数据上呈现缩放律，并第一次证明存在「人类到机器人」的迁移缩放律。2

架构问题拆得很具体。Dyna-2 底下是扩散 Transformer，用的是只有编码器的 Transformer 架构；官方技术页写得更细——它是视频扩散骨干上的 Transformer 混合体，视频与动作各自 token 化、各有独立的 DiT 层，再通过注意力互相看，本体感受直接喂给动作 Transformer。理由是：扩散在视觉领域已经被证明有效，而机器人要的动作同样要求平滑、精确、细节锐利。

swyx 补上流匹配这一层：它是扩散的一个更容易调参的特例，把「从噪声到成品」这一步简单得多，两三年前图像与视频生成已经整体转向它；而它特别适合机器人，因为生成一张图基本是一次性的，机器人却可以实时重新评估。

然后是这一期的关键打法：先训一个尽量通用的基础模型，再用极少量示范适配新任务。现场的数字是「有些任务只要几十分钟」，切菜那个用了 45 分钟；官方给出的极端例子是仅用 10 分钟遥操作数据，就把 Dyna-2 微调成能用两只五指机器人手拧开瓶盖。2

这一节出现了整期最常被引用的一句：不像语言模型，机器人没有互联网。所以每一家做模型、做硬件的公司都必须自己解决数据。Jason 的说法是，任何一家公司自己采的数据都远远不够——这就像你想靠只有 Reddit、或者只有 Facebook 来建一个互联网。

他还提出一个不太常见的判断：机器人里的数据质量是一个非平稳问题，什么算高质量会随模型变强而变。在最早期，任何数据都有用。人类第一视角数据之所以适合做预训练，是因为它覆盖了你能想象到的每一种身体活动，给模型一个很强的先验；但除非机器人长得和人一样，人机之间总有具身差，所以底层反射式的灵巧必须用机器人自己的数据来补——而那部分数据贵得多、也难得多。

节目里他现场做了数据征集：Dyna-2 博客末尾留的是 datapartnerships@dyna.co，收第一视角数据、机器人数据、视频数据，以及任何你认为能帮到机器人的东西。2

Jason 认为合成数据会是继第一视角数据、机器人数据之后的第三个扩展维度。他们已经在用前沿模型为自己关心的环境生成合成场景，而他判断这项技术刚刚到了一个值得深挖的临界点。

他在这里回溯了自己博士期间那篇 Eureka：那是第一篇用大语言模型——当时是 GPT-4——自己生成仿真环境与强化学习奖励函数的论文，最后的演示是机器人转铅笔。当时它很受限，因为模型没有好的视觉能力、没有内生的 3D 理解，基本上只能写代码、靠非常有限的文本反馈去找环境；而今天前沿模型能做 real-to-sim、CAD、3D 重建，情况完全不同了。5

最后是那个闭环：除了用前沿模型造 3D 环境，他们还让世界行动模型自己生成视频——模型自己造训练数据，形成一个自我实现的飞轮。

维布把问题拉回工程约束：模型到底跑在哪。Jason 的答案从延迟开始——语言模型可以容忍延迟，机器人不行，它不能拿着一把刀三秒钟什么都不做；现场还插了一句，演示时有人把真手放到了刀下面。他举的例子是拿着网球拍颠球这种动态任务：物理和重力不会等你。

因此最快的推理方式是本地服务，因为网络延迟没有保证；最终部署的模型必须有合理大小。但这不意味着最初训练的模型也要小：先训最大的，再蒸馏——让一个小模型变聪明的最好办法。他还说，他们为部署的每个模型自建推理栈，因为要对症优化速度。

这一段是全栈逻辑的正面陈述。swyx 用「从执行器一直到工业设计」概括了他们的范围，Jason 则给出取舍标准：输入输出清晰、已有成熟方案的部件就外购——比如机器人身上那两颗用来探测障碍、导航的激光雷达，以及一部分相机；而对整套系统最终性能极其关键的部件必须自己做，执行器就是其中之一，因为它直接决定你能不能把机器人很好地建模。

机器人的比例也是自己做主的：它是对着真人量的，因为预训练用的是人类数据，为的是最好的迁移。他把这条原则总结成一句——最终是硬件承载智能，所以要确保硬件服务于它。

供应链那一节更冷峻。swyx 转述他听过的最紧张的机器人讨论：美国不造磁铁，只有两个国家造，属于稀土材料。Jason 当场纠正「这不是瓶颈」，但他承认现实：即便有公司说自己在做美国本土组装，原材料仍然来自世界各地，到今天没有一家美国公司真正在美国从零造出所有东西。他的判断是，现在讨论都集中在基础模型的数据上，而硬件以及造出好硬件有多难被严重低估。他也解释了为什么不止做模型：他在 DeepMind、在 NVIDIA 都只做模型，亲眼看到不掌控硬件时的系统上限。

这台机器人被他们称为半人形：人形上半身、腰部四个自由度、轮式底盘。选轮子的理由很实在——用腿，能耗高得多，更不稳定，安全极难保证，而且今天没有任何腿式机器人能保证全程保持直立与平衡。

腰部那四个自由度来自一个生活细节：Jason 说自己曾经拉伤肌肉，接下来几天动不了，才意识到日常生活里用了那么多肌肉、那么多自由度，却把它们当成理所当然。人一直在用腰和背，甚至只是想拿一个瓶子；如果形态不允许躯干运动，从人类数据里迁移就会变少，机器人也更别扭。他还提到一个前置决定的好处：新机器人是不久前才准备好的，数据远少于那台固定机臂，但模型能很快学会任务——因为在硬件还没准备好之前，他们就已经在人类数据上做预训练了。

学一个新任务的成本被讲得很具体：几小时已经算多，有些任务只要几十分钟，切菜那个是 45 分钟。它还有一个身份——那是他们一位工程师的入职任务：提一个新任务，来办公室采数据、训模型、看会怎么样。Jason 当场接受挑战，代价是系鞋带。

评测这一侧，他把流程讲成了机器人版的 RLHF：训练时先看指标是否收敛，之后就把模型放到采数据的同一套装置上跑；开箱就好用的时候有，到七成、八成的时候就要看它哪里不行，再补数据迭代。机器人跑一遍，人给它打分——好、坏、勉强好——这些经验再拿去训模型。他还补了一句结构性的判断：要知道自己有没有进展，最终必须在硬件上评测，所以评测速度会反过来限制研究速度。

叠衣服那个演示跑完整个循环要一个小时——机器人能完成一份完整工作的最长时间已经进入小时级。但要推广到任何任务，瓶颈会回到数据与硬件。

硬件的例子很直接：想干更灵巧的活就需要更灵巧的手，而今天最好的灵巧手还不够耐用，很快就会过热，几乎得给它放冰袋。感知也是同一个问题：人类有听觉、触觉、嗅觉，我们在潜意识里全都用上；如果今天完全不采集，即便把数据扩展到几百万小时，也可能永远缺任务的关键维度。他划的另一条边界是：对今天就能高保真采到数据的任务和工作流，不存在根本瓶颈——证据就是这一周他们向公众展示的物理智能体，可以像人一样完成整套叠衣服流程。

这一段有整期最实用的区分：今天很多机器人公司在谈部署、谈试点，但真正难的不是把机器人放进一个场地，而是客户相信、并验证了你的机器人创造了足够的价值，愿意把它铺开到自己的很多门店。Jason 说这件事在他们和鼎泰丰之间发生了，而据他所知，做同类通用机器人的公司还没有做到。

规模与标准都给得很具体：美国很多家鼎泰丰门店的餐巾是他们的机器人在叠，每天数千条，质量要求极高——第二次折痕离插筷子的那个口袋只有几厘米。维布的直觉是这种细活专用机器人更合适，Jason 的回答是反的：餐巾、毛巾都是可变形体，存在无限多种构型，专用机器人极难做，而通用模型加适配反而更快达到量产质量。此外，模型的一致性还是天然优势：不同门店的叠法略有不同，而模型就是一组权重，可以一次 OTA 更新所有门店的机器人；折餐巾的速度也已与人类持平，而机器人不会累。合同也在变大：鼎泰丰现在不只想要叠餐巾，还想要机器人切菜——最终 BOSS 是把小笼包折出褶。

swyx 用「bitter lesson for robotics」总结了他们的路线：不做需要大量工业工程的专用机器人，而是做一个通用平台，再在最后一公里做微调。Jason 顺着讲了三条。

第一条：机器人会像机器学习解决过的其他领域一样靠规模化推进，意思是要有尽可能多的数据；但更难的是，什么才是对的数据比别的领域难搞清楚得多。第二条更尖锐：机器人领域有大量研究在塞非常具体的先验，比如让机器人把物体看出它本来的样子、画几个框；而这条教训说，保持算法简单、把对的那种数据规模化，泛化和更好的行为会自己涌现。第三条最贵：别的领域数据天然存在，机器人得先自己造硬件、造传感器，把这些都做对，然后才轮到规模化。

他也回应了人形与人形的取舍：如果目标是适配尽可能多用例的机器，人的形态会是最好的；但硬件迭代又慢又贵，Optimus 已经过多次迭代、推翻过自己的设计。所以 Dyna 选择用半人形边部署边迭代，他们认为这样反而更快逼近最终那台机器人。

维布的问题是模型之后怎么包：是不是要像 Claude Code 那样，有一个壳、一个界面，把模型输出带到最终成品。Jason 说他们最终会有自己的 SDK，但更根本的是要为机器人基础模型做一个通用的壳层。

理由讲得很清楚：长任务里全是调度——洗衣机在转，就去干别的；洗衣机停了，就得立刻把毛巾取出来放进烘干机，否则它会变成整个工作流的瓶颈。这属于高层认知与决策，用一个底层输出动作的模型去学会极其低效。把智能体系统套在世界行动模型外面，模型才能组合不同的技能，去解决时间跨度长得多的任务。他把这条路径类比成语言模型的演化：两三年前模型只擅长自动补全，今天智能体可以端到端承担任务。结论是那一句——真正的价值是无人看管、连续数小时的工作流，而不是三十秒的任务。

Jason 说他们是一家极度 AI 原生的公司：编码智能体是工作的基础部分，新模型出来他们是第一批去试的；GPT-6 出来那一周，公司就办了一场黑客松，工程师做出来的东西让他难以置信，其中很多功能已经上了生产。

他提到 GPT-6 里最让自己意外的一点是构建虚拟环境的能力——正好接上前面合成数据那一段。维布则讲了段花絮：黑客松里一堆人都在做 CAD、把房子变成 3D，他自己对 CAD 一无所知还拿了个奖。

维布问行业里是不是都这么做。Jason 说不是：世界模型（比如 Runway 那种视频世界模型）、视觉—语言—动作模型（VLA）、世界行动模型，都还在牌桌上，现在说谁对还太早。他对自己这条路的信心来自公司定位——他们是来部署机器人的，部署得越多、越早碰到真问题。

他给出了这条路线背后的第一性原理：机器人、任何物理系统，本质上都是「基于现在和过去的信息，下一步该做什么」；而机器人只是世界的一部分——机器人影响世界，世界也在影响机器人该怎么动。所以最底层的事就是尽可能多地预测这个世界。VLA 只预测机器人动作或世界的抽象表示，而一旦你预测抽象表示，就把自己的偏见编码进了「什么值得被预测」。

他也主动给了漏洞：如果你要预测的世界信息，你的传感器根本没有——比如声音、比如触觉——那么再强的视觉世界模型也不够丰富。视觉是高度冗余的输入，触觉可能信息密得多。他的判断是，如果最终解决机器人问题的是视觉加触觉的模型，机器人公司会比转向机器人的视频生成公司更有资格，因为理解传感很复杂，而他们从公司成立就在做这件事。

个人经历这一节从围棋开始：他在日本和中国长大、下围棋，AlphaGo 出来时他读高三，被彻底震住——此前人们说围棋是 AI 永远解不了的游戏之一，搜索空间比世界上所有原子的总数还大，而强化学习把它攻破了。他也由此对能自我改进的模型与智能体产生兴趣。

路径是：宾大博士（双导师，其中一位在伯克利机器人实验室做过博士后，宾大又有 GRASP 实验室）——NVIDIA（GPT-4 时代，转笔任务逼出了 Eureka 的想法）——Google DeepMind（想把 Gemini 用在机器人上）。他承认学术研究让他开心，但心里一直有个问题挥之不去：「这些真的有用吗？」——在实验室里，你其实是在给自己出考卷、给自己批作业。所以他想要能被数百万人真正用上的东西，2024 年底和 Lindon Gao、York Yang 一起创办了 Dyna。45

名字的来历有两个：图灵奖得主、强化学习先驱理查德·萨顿很多年前写过一篇叫 Dyna 的论文，讲的是一个能自我改进的智能体加一个世界模型——他当时就相信机器人会这样被解决，如今技术方向正在收敛；另一个更私人：他在日本长大，他出生那年那部奥特曼叫《戴拿》（Dyna）。

文化这一段给了一个结构性的说法：他们把自己看作「研究加产品」的公司，像 OpenAI 那样做前沿研究、但最终都落进产品。所以他们先确定必须解决的技术问题——泛化、全身控制、快速适配、语言遵循、灵巧度——再让工程师自己造任务去压力测试，比如用「拿一杯饮料」测语言遵循。

人数上他没有精确比例：硬件那边大概占三到四成，做模型的约十人。他最喜欢做机器人公司的一点是「你能看到一切」——天底下任何可能有用的东西都会有用，所以能接触到各种背景、都对机器人充满热情的人，包括原来在零售业、完全没有机器人经验的同事。

愿景说得很直接：高层使命是把机器人和智能真正带进物理世界，真正看到机器人部署到成千上万个客户、甚至数百万台机器人。临别感言则是对行业的：机器人现在还是太演示导向，需要更多真正以使命为中心、不惜一切让机器人部署起来的人。最后一句是 Jason 说的——做机器人，就得去现场。

底稿是官方单集页自带的完整逐字稿：255 轮，每一轮都带说话人姓名与时间戳（00:00:00–01:11:51）。逐句直译，只保留中文译文，不压缩、不摘要、不删减，每一轮都保留说话人标签——swyx／维布／杰森。这一期不必猜谁在说话：说话人姓名是官方逐字稿本身就带着的。1

swyx：好，我们现在就在 Jason Ma 的办公室现场。他是 Dyna Robotics 的联合创始人兼首席科学家。谢谢让我们进到你们办公室来。

杰森：当然，谢谢你们过来。

维布：太有意思了。我们看到了——你们也会看到很多花絮镜头——拉饮料、大量评测、第一次看到机器人拿刀。那么在这一切底下，是一个「世界行动模型」。那是什么？

杰森：上个月，我们发布了我们自己的世界行动模型，叫 Dyna-2。它是在超过一百万小时数据上训练的第一个世界行动模型。先回到你的问题：世界行动模型是一种能够预测未来视频、预测世界未来状态的模型——所以叫「世界模型」。但除此之外，你还可以用那个未来的生成结果，同时产出机器人能在物理世界里执行的动作，从而控制机器人。我们为什么这么做？因为它是一个非常强大的架构：如果你去想人类在物理世界里是怎么行动的，在我们的大脑里，我们其实一直在隐式地推演世界会如何根据我们的动作演化。所以现在我们有了一个能做这件事、并用它来指引机器人动作的模型架构。我们发现，这样做之后，模型灵巧得多、鲁棒得多，也更有能力泛化到它从未见过的环境与场景。

维布：我想把这个问题再往前推一点。很多人听到「世界模型」，会以为你在输出视频、世界状态或者 3D 状态。而你们同时也在做动作。我觉得大多数人并不了解机器人底下是什么模型。所以，输入和输出是什么？训练数据是什么？架构是什么？把细节都讲给我们听。

杰森：输入里最重要的就是视频。你可以把它想成机器人用自己的相机拍到的视频——过去若干秒的视频或图像，这就是输入。但对机器人来说很有意思的一点是，它自己身上也有很多执行器和关节编码器，所以机器人知道自己的关节角度，这些也可以作为这个世界的模型的输入。这是它和只看视频的纯视频模型很不一样的地方。这就是输入。另外，对机器人你还想能跟它说话、给它下指令做不同的任务，所以你还可以喂给它语言指令。我认为这些就是任何机器人模型（包括世界行动模型）的基本输入集合。有了这些之后，在输出上，最基本的一层是它需要输出机器人能在硬件上执行的动作。但在世界行动模型这里，真正有意思的是：除了动作，它还能输出未来视频。所以基本上你可以先输出未来视频、或者它的某种表示，再用它来指引机器人的动作。我的理解是，这有点像思维链：模型在视觉空间、物理空间里推理，然后输出动作。这就是世界行动模型的输出、和其他种类的机器人模型的输出之间的关键差别。

维布：你们围绕这个模型发了一篇很好的博客。我想很多人理解语言模型或者 Transformer，就是下一个 token 的预测器。而这次你们分享了不少：有扩散，有流匹配，你在预测下一个世界状态再加上动作。你还提到了一百万小时。你们是怎么定架构的？那里有哪些选择？架构是什么？我感觉在语言模型里，很多东西都是现成的：拿几万亿 token、做预测、SFT、RL，你就有模型了。那这个呢？你怎么从零走到你的模型？有现成的通用架构吗？你们自己定了哪些？现在这个领域的状态是什么？

杰森：对，是的。思考「我们怎么给机器人造模型」的心智框架，基本上要看两件事。一是数据，二是我们如何让模型尽可能多地从这些数据里学到东西。所以我们先说说模型。我们发布的博客，是我们的 Dyna-2 世界行动模型。它底下是一个扩散 Transformer。这个模型用的是只有编码器的 Transformer 架构。

维布：对，嗯。

杰森：但真正有意思的是，在视觉领域——去想生成图像、生成视频，以及这里的机器人看着图像去生成动作——人们发现扩散这类架构效果非常好。什么是扩散模型？扩散模型是拿一些随机噪声，通过迭代计算，从噪声走到非常高维、定义非常清晰、拥有非常精细特征的东西。比如生成图像，你要锐利的边缘、锐利的角、颜色对比。而对机器人来说，虽然你生成的不是图像，而是需要非常精确、非常平滑的动作，它的考量和要求其实是一样的。所以从第一性原理出发，整个领域——不只是我们——都在用这种扩散 Transformer 架构来训练机器人基础模型。你需要 Transformer 的那一部分，因为 Transformer 正是那种能吃下最大量数据、能学的东西；然后扩散帮你把结果打磨到你在机器人上真正执行所需的平滑、精确、精细的动作。这就是我们最近很多突破背后的架构。

swyx：我们在播客里讲过流匹配。它主要是一个效率上的加速：比如你通常要四十到一百步扩散，你可以把它降到四步。

杰森：对，是这样。用扩散模型时，实践中很难的一点是你要调调度器——也就是你每一步把初始噪声输入转换成最终输出的幅度。流匹配有点像扩散的一个特例，它让这个变换简单得多。实践中你不用调那么多，效果一样好。所以我印象里，两三年前图像和视频的生成建模大多从扩散模型转向了流匹配模型。但概念是一样的，流匹配只是扩散的一个更容易调的变体。

swyx：这让我想到：流匹配在质量上当然有取舍，但它其实非常适合动作扩散和机器人，因为你可以实时重新评估；而在图像上基本是一次性的。

杰森：没错。

维布：这挺有意思的。我们还玩了叠衣服的机器人——随便扔一条毛巾进去，模型会适应。我觉得你们模型的一个关键点是它们被做成了通才：一个基础模型，然后你能大量地适配它。这是怎么做到的？基本上用 45 分钟的数据就能泛化过去。我们看到一个从冰箱里拿饮料的例子。一个通用模型，然后你如何适配不同任务，这背后的思路是什么？

杰森：我们的想法是，机器人需要一个非常通用、非常强的基础模型。因为如果你去看人类在物理世界里如何互动、如何行为，我们有很强的基础知识，可以随手做很多任务；但如果你想成为某个特定任务的专家，还需要一定量的训练。要训练一个像我们这里在做的通用机器人，同样的原理必须成立。所以我们的做法是先训一个高度通用的模型，用我们能找到的尽可能多的数据来训。这就是为什么在 Dyna-2 的报告里，我们的模型以超过一百万小时的人类数据作为起点。在这个强基础之上，我们发现可以用极少的微调，很快让机器人或模型做很多不同的任务——只要告诉模型「我要它做这个任务，这里是很少量的示范」，模型就能直接做你们在办公室看到的一堆任务。

swyx：我们其实有不少做数据的人、卖数据的人。什么是好数据？什么是坏数据？你们想买什么？我觉得这些都是开放问题。显然最重要的一件事，是人类做任务的第一视角数据。在这个基本判断之上，你还会补充什么？

杰森：我认为数据是今天机器人最重要的东西，因为和语言模型不同，机器人没有互联网。所以每一家做模型、做硬件的公司都得考虑数据。这里大致有几种做法。一种是你可以自己收集大量数据，这也是我们在做的。

swyx：你们这里有员工在做这件事。

杰森：办公室里到处都是机器人。但如果你想想机器人基础模型需要多少数据，任何一家公司自己收集的量都远远不够。这有点像你想靠只有 Reddit 或者只有 Facebook 来建一个互联网：它们是很棒的网站、用户很多，但不够。所以当我们看数据时，一定要有某种数据获取发生：你买数据，你去看外面已经存在的数据。这里有很多不同的层级。你提到数据质量——我认为机器人里的数据质量是一个非平稳问题：什么算你的模型的高质量数据，会随时间变化。当模型什么都不知道、还是零的时候，任何数据都有用，你可以用大量视频数据。在第一视角数据这个例子里，我认为它其实是预训练机器人的很好方式，因为人类数据非常多样，它覆盖了你能想象到的每一种身体活动，给了机器人、给了模型一个非常强的先验——在有一个具身主体（人）的情况下，世界可以如何演化。但人类数据的问题是：除非你的机器人长得和人一模一样，人类动作和机器人动作之间总会有差距。所以只靠人类数据训练，今天不太可能直接执行机器人动作；你仍然需要一定量的适配，用机器人自己的数据。而在机器人身上收集的机器人数据，要贵得多、也难得多。所以我们想的配方是：拿今天最大的数据来源（比如第一视角数据），给模型一个覆盖所有可能的物理操作的强先验，再把它和少量机器人数据结合，让机器人掌握我们感兴趣的那个任务。所以数据质量和数据获取，我认为是一个迷人且多面的问题。但现实是：没有单一制胜策略，比如「这就是我要的那一种数据，我只收集它」——

杰森：那就会给你一个强基础模型。你真的要想清楚：人类数据覆盖的是机器人认知里我需要的那部分，机器人数据覆盖的是机器人同样需要的底层反射式灵巧，然后把它们放进同一个模型。我认为这才是最后得到真正可适配、真正强模型的方式。

swyx：我再替想和你们合作的人问一句：你们想要什么样的数据供应商？这是你们的征集。

杰森：这是好问题。在 Dyna-2 博客的末尾，我们确实留了一个邮箱：datapartnerships@dyna.co。如果你是数据供应商，手里有大量高质量的第一视角数据、机器人数据、视频数据，或者任何你认为能帮到机器人的东西，发到那个邮箱。我们团队会看，然后回复你。

swyx：但你们现在这个阶段，大概不会再从市面上买第一视角数据了吧？你大概更想说「这是我需要的东西，你去——」

维布：有没有什么缺口很大的细分领域？

swyx：你们需要一个做这件事的 Scale AI，需要一个 Mercor。我明白了，定制数据——

维布：不做机器人的人大概会想：「好，某个细分工厂。」比如你演示的插管。关于那个你能找到的数据有限，但这类数据多了会帮到你们吗？

杰森：如果你想真正拿下一个任务，有那个任务的数据肯定帮很大。对我们来说，我们还是觉得，仅仅一百万小时数据是不够的，它只是开始。我们展示了第一个百万小时量级的模型，但我们需要更多。所以我们仍在看大量原始的、多样化的数据。同时我们也在想怎么拿到更多定制数据——自己内部收集，或者由合作伙伴为非常具体的细分任务收集。因为我认为你仍然需要这些，才能达到任何模型要在物理世界里真正有用所需的卓越水平。这就像人一样：如果肖恩或者我明天去 Rosewood 酒店上班，我们没法按他们要求的方式铺床，我们需要大量训练。所以那种数据——专门的数据，类似 Mercor 今天为语言模型做的——我认为对机器人也会非常有价值。

维布：所以酒店——在员工头上绑个 GoPro 然后——

杰森：然后这类数据大概会越来越多。

维布：有——

swyx：把自己挡在自己路上。对。我们聊到的一件事情是，这次访谈快结束时提到：现在你基本上可以当场「捏」出环境来。你们在前沿模型上试过吗？体验如何？它们够好吗？

维布：你们会用世界模型公司来生成这些环境、然后在上面训练吗？

杰森：我认为为机器人生成合成环境、合成数据、仿真数据，会是下一个前沿之一。因为今天人们看的是第一视角数据、机器人数据，它们在扩展，但我认为合成数据会是扩展的一个新维度。回到你的问题：是的，我们一直在探索用前沿模型为我们关心的数据、我们关心的环境生成合成环境。而且令人惊讶的是，我觉得现在这个技术已经到了真的非常值得深挖的节点。给点背景：我读博时主要做基于仿真的机器人训练。那时候仿真还没准备好，但我们有篇论文叫 Eureka，是第一篇用大语言模型——当时是 GPT-4——来自己生成环境、生成奖励函数或者说强化学习任务、在仿真里做事情的论文。最后我们有一个很不错的演示：机器人转铅笔，当时非常酷。但那类东西当时仍然非常有限，因为当时模型没有好的视觉能力，也没有内生的 3D 理解。所以它基本上只是生成代码，用非常有限的文本反馈去尝试想出新的仿真环境。而今天这些前沿模型的视觉能力非常夸张：它们能做 real-to-sim、能做 CAD、能做 3D 重建等等。所以我认为现在到了一个临界点——

杰森：这项技术真的能加速机器人。对我们来说，我们把它当成加速内部进展的方式，因为我们在造模型、也在造硬件。如果前沿模型能那样给我们更多数据、为我们量身生成数据，那对我们极其有用。还有另一件我们一直在想的事：除了用这些模型生成 3D 环境，我们还用了自己的世界模型——就是我刚才说的世界行动模型——因为这个模型不只生成动作，它还能生成视频。这个模型也可以生成自己的训练数据。于是这就成了一个自我实现的飞轮，我认为这也会很强大。总的来说我对这个方向非常兴奋，因为即便我们已经扩展到一百万小时数据、已经在部署一堆机器人、机器人已经开始做很酷的事，我们仍然只是在起点，只是冰山一角。

维布：对做研究的人说一句：我们最近请了 Runway 上播客，他们的一件事就是机器人世界模型，他们也在往那个方向偏一点，所以……叫大家去看看。关于你们自己做模型，我有一个问题：你们受什么约束？如果和语言模型类比，你会看到 GPT-OSS 20B 很适合普通 MacBook，然后有更大的模型适合单张 GPU。你们是在机器人的约束下工作——模型在端侧、在云上、还是混合？这又如何影响你们的数据缩放律？一百万小时很棒，但我们就只是继续扩大参数、扩大数据吗？

杰森：这是好问题。我认为机器人和语言模型及其他应用很不同的一点是：对编码智能体、语言模型来说，有延迟没关系。今天我问 ChatGPT，它要好几秒才吐出东西来。但对机器人，推理延迟必须非常短。机器人得动——它不能拿着一把刀三秒钟什么都不做，那会把人吓到。

维布：对，我们看到有人把真手放到刀下面。

杰森：我们的模型挺聪明的，所以没事。但一般来说，如果你考虑非常动态的任务，比如你想让机器人拿着网球拍颠球，那非常动态、非常需要反应。你不能……物理、重力不会等你。所以机器人模型必须能非常快地推理。最快的办法是本机部署，也就是在设备上。因为如果你调用一个模型——

swyx：网络延迟。

杰森：没有保证——

维布：自动驾驶的汽车。

杰森：没有保证。所以最终部署的模型必须是有合理大小、能在本地服务的。但这不代表你最初训练的模型也非得小。就像语言模型——

维布：你可以蒸馏。

杰森：人们做蒸馏。让一个小模型变聪明的最好办法就是蒸馏：你训最大的模型，然后蒸馏。我认为机器人在朝那个方向走，人们最后会收敛到这一点。

维布：推理呢？你们有自己的推理栈吗？很多是架构上的事。你们把扩散之类拉进来了。我猜你们能在某些现成的东西上做优化。有什么想分享的？

杰森：我们为我们部署的任何模型自建推理栈，因为——就像我说的，延迟太重要了。所以拥有整个栈对机器人极其重要：你要针对你跑的那类模型去优化推理速度，这里面有很多工作。这就是我们做的事。

swyx：你们真的是全栈，从执行器一直到工业设计（ID，我以前不知道这个缩写），当然还有模型和数据。

维布：我很好奇：这些执行器是你们自己的吗？还是……有多少是你们自己的？设计当然是，但它不是那种人形——执行器呢，你们在机器人栈上扎得有多深？

杰森：我们判断什么必须自己拥有、什么可以外购的方式是：如果一个组件的输入输出非常清晰、而且已经有极好的成熟方案，那就没道理自己做。比如这台机器人上的激光雷达，那个黑圈就是激光雷达，帮机器人探测障碍、导航周围环境。那是非常成熟的技术，人们用了几十年，自动驾驶汽车上就有，我们不需要从零做激光雷达。一些相机也一样。但对任何我们认为最终对整套系统性能极其关键的部件，我们的愿景是自己拥有、自己做。比如你提到的执行器，那是我们正在做、而且会自己拥有的。原因是执行器的质量、以及你如何设计它，直接决定你能不能很好地给机器人建模——执行器是驱动机器人的东西。要想在仿真里把你的机器人建模得很好、或者做任何建模，你得选那种本身容易建模的好执行器。所以这是我们在意的，最后我们会自己拥有。机器人的比例也一样：这台机器人的比例是对着真人量的。为什么？因为我们在人类数据上做预训练。

swyx：哦，对。

杰森：为了最好的迁移。所以硬件上有很多这类决定，和这个紧密绑定。因为最终是硬件承载智能——智能是极其重要的东西，我们要确保硬件服务于它。

swyx：我想强调一点，不知道和你有没有关系：我做过的最有意思的机器人讨论之一，有个人对执行器、特别是磁体非常焦虑，因为据说美国不造磁铁。

杰森：我们不造。

swyx：只有两个国家造磁铁。

杰森：稀土材料。

swyx：稀土，对。我不知道那个化学的——那是什么材料？反正，如果有人感兴趣，据说那是我们的一个瓶颈。

杰森：不，不是瓶颈。

swyx：是瓶颈。那我们怎么办？

杰森：这是好问题。我觉得关于把制造带回美国有很多令人兴奋的讨论，但对机器人来说，这其实比看起来难得多。我要说，即便现在，美国也没有一家公司真正在美国从零造出所有东西。即便他们说自己在组装机器人、在美国做他们在做的东西，他们仍然从世界其他地方采购原材料。我认为这是做机器人的人要真正意识到的事。作为一家全栈机器人公司，我们意识到供应链有多长、整个问题有多大——它其实极其困难。我觉得现在很多讨论集中在机器人基础模型的数据上，但硬件、以及造出好硬件有多难，被严重低估了。我认为这会变得极其重要。

swyx：这是一个平台，对吧？

杰森：平台，对。

swyx：有些公司选择不做，我们就叫它「无平台」。他们只做模型，然后说「我们在任何平台上部署，我们在 Optimus 上部署」。

维布：现成的机器人。

swyx：所以这是个选择。显然你们什么都自己做，所以你们可以这么做。你们会更多在美国建，还是会建自己的全球供应链？哪个方向更可能？

杰森：我们目前正在探索很多不同的选项，因为搞全球供应链会有一些地缘政治因素。

swyx：运输。

杰森：运输，还有运输延误之类的。

维布：给机器人用的真·船。

杰森：而在美国，从零到一总得花些时间。所以我们在想一个既能让我们在美国建得更多、又能利用全球供应链的方案。但回到你上一个问题——有些公司选择只做模型，而我们把所有东西都做——我认为把这件事做对非常重要。我觉得对机器人来说，难的是造出整个系统。造一整个系统需要哪些必要的东西？我以前在 DeepMind、在 NVIDIA，主要就是做模型，我看到了当你不掌控硬件、不能去优化硬件时，整个系统的上限在哪里。因为如果你去想机器人创造的价值：机器人最终是来提供某种服务、解决某些物理任务的。所以如果你想解决物理任务，你就会希望能优化每一个环节，这一点很重要。

维布：机器人就在这。你得跟我们讲讲这个设计。你们自己定制的平台，你们叫它什么？

杰森：我们叫它什么？

维布：对，它不是人形。它非常顺滑，但那个旋转的手臂是什么？

杰森：我们大致把它看作一个「半人形」。上半身是人形的，当然有肩、有手臂。它的腰部还有四个自由度。所以上半身基本能做人能做的所有动作。但它是半人形，因为下半身是轮子。为什么选轮子？因为我认为这里有个差别，是实用性与性能之间的取舍。用腿的话，能耗会高得多，会不稳定得多，安全性极难保证。目前的腿式机器人，实际上根本无法保证机器人全程保持直立、保持平衡。你们肯定看过很多那些机器人跳舞的视频。

swyx：看过跳舞，对。它们都很容易摔倒。

维布：不，你也看过那些一看就不是量产的演示：你可以把它围起来、可以把它推倒，表现非常好。但那个机器人只是擅长平衡，对吧？就像——

swyx：我觉得你们更有意思的创新在这里。我们这儿有一台原型机，后面这台叫「Mewtwo」（超梦）。

杰森：你可以这么叫它。

swyx：它只是一个上下轴的升降台，而你们选择走向现在这个能倾斜的形态。我们接下来会看到叠衣服的演示，那个你得往机器里探身。对吧？那是另一个自由度，我甚至不知道该怎么称呼它——不是俯仰，不是偏航，是别的东西。

杰森：对，我们是怎么想的呢？其实这跟我们做运动很有关系。我印象里，几年前我锻炼的时候，不小心拉伤了一块肌肉——你们肯定也有过这种经历，接下来几天你就是动不了；或者你睡姿不对拉到了，脖子很僵。我们都经历过。而每当你经历这些的时候，你就会意识到：哇，我们日常生活里用了那么多肌肉、那么多自由度，而我们把它们当成理所当然。可一旦它失灵，你去做那些你觉得非常自然的任务时就会非常别扭。我们设计机器人时也是这么想的。当你的设计只是这种纯升降台、只能上下时，我们发现人体大量的躯干运动——我们日常体力活动里大量用到腰和背——被丢掉了。即便我只是想拿这个瓶子，我也不是只动手臂；如果我要刻意想着固定上半身，那会非常奇怪。我总会这样做，对吧？人类移动身体有很多潜意识的方式，我认为如果机器人有那个自由度，同样会非常有用。再进一步想：我们要从人类数据里学习。人类一直在移动躯干，你会希望能把这些吃进模型里来控制机器人。但如果你有一个不允许这样做的形态，迁移就会变少，机器人就更不灵巧，也更别扭。

维布：这上面的数据标注是怎么做的？比如我——你见过那些人……这是在用机器人遥操作或者远程控制一小段时间、采集动作之后做后训练微调的那一步吗？还是其中一部分会泛化过去？

杰森：你说标注，是指？

维布：比如，把你那个预测状态的模型映射到你具体的硬件上。

杰森：哦，好。它泛化得非常好。我给你看的新机器人上的所有演示——因为这台新机器人是不久前才准备好的，所以跟给你们看的那台固定机臂相比，我们手头的数据其实相当少，那台机臂的数据多得多。但这台新机器人，模型在预训练里、在我们某些预训练模型里并没有见过它，它却能很快学会你看到的那些任务。我认为这很大程度要归功于：在硬件准备好之前，我们就已经下定决心在人类数据上做预训练，因为我们知道某一天我们的机器人会像人一样。硬件在准备的时候，你可以在训练那一侧先跑起来。我认为现在我们看到迁移确实存在，而且确实非常有帮助。

维布：讲讲这上面的评测。你可以有预测、可以让它做事，我们时不时看到它出错。你们也会测非常小众的任务，比如往药瓶里装药。这个过程要多久？你怎么看待「在一个新任务上部署、评测、迭代」这件事？长什么样？

杰森：如果我们想学一个新任务，基本上就是做一点点机器人数据采集。然后模型，这些——

swyx：一点点是多少？

杰森：大概几个小时。对，我们有些任务只要几十分钟。然后——

swyx：切菜那个是 45 分钟。

维布：开冰箱那个是在——

swyx：那还是一次面试——那是你们某位工程师的入职任务。

杰森：所以，

维布：想来这里工作的话挺有意思的：找个任务，让机器人做。

杰森：给我提一个新任务，我会到办公室来，采一点数据，训一个模型，看看会怎么样。

维布：系鞋带。

杰森：真的，就是系鞋带。那会挺酷的。对。所以，采一点点数据、训一个模型，然后我们就把模型部署到真实世界里。然后我们看表现，然后——

维布：你说采集，是指真的有一个人在实际操作——

杰森：操作。

维布：做那个任务做一会儿。然后你训练？它做得还行，你再改进。你们怎么衡量？

杰森：训练模型的时候，有一些指标可以看，对吧？就像训练一个模型，它收敛得不错。之后，今天在机器人上，我们就是把模型放到真实世界里跑——在采集数据的同一套装置上跑，看模型表现如何。有时候模型开箱就非常好用，你不太需要做更多。但当模型大概到七成、八成的时候，你就去看它哪里不行，弄清楚它不擅长什么，然后你可以再采一点数据，再迭代。我把这看作机器人版的「从人类反馈中做强化学习」：机器人实际跑一遍，你可以给它打分——好、坏、勉强好。然后这些数据、机器人自己的经验，可以用来训模型。你也可以自己再多采数据来训模型。最终我们的目标是：这台机器人会成为我们的平台，任何人都应该能在它上面训练任务。

维布：我想得到一个预测和时间线，看看这件事会走到哪。现在这些任务还比较简单，比如把衣服拿出来——是条毛巾，你不能把它揉皱；切点食物。还有另一类，比如「把这座拍摄工作室搭起来」，搬东西、搬张桌子、架灯。我觉得——

swyx：管理我的数据中心。还有，给另一台机器人充电。

维布：什么时候我们能看到工厂，或者我们需要扩大的是什么？是模型吗？是全部吗？看起来你们的硬件就是为此准备的，但我们要走到哪一步，才能从「只切一样东西」变成「好，这是一份配方」？

杰森：我要说，要走到真正通用的机器人——基本上一个机器人或者一个什么都能做的模型——

维布：不是那个。我是说，在技术层面上稍微接地气一点：我们什么时候开始看到去推那个反馈循环？所以——

杰森：我明白了。

维布：不是非常简单的切菜——也许是一段五到十分钟的序列？那样评测步骤就会在更多地方崩掉。不是只装一个药瓶，而是十种不同的药，全在一个序列里。限制我们的是什么？我们在推什么？

杰森：对，我想有几件事。一是你们看到的那个叠衣服演示，跑完整个循环要一个小时。所以机器人能完成一份完整工作的最长时长已经到小时级了。但要对任何任务都能做到这一点，我认为瓶颈要回到数据和硬件。比如有些任务，比如布置空间，你可能需要比平行夹爪更多的东西，你可能需要更灵巧的东西，比如一只手、一只像人手的手。可是如果你想在一只手上训模型，你就会被硬件的稳定性卡住：今天最好的灵巧手还不够耐用，很快就会过热。这就成了瓶颈。你——我们——你几乎得给它放个冰袋——

swyx：冰。来降温。

杰森：人。

维布：我们不只是自动做研究、做出更好的模型，我们有硬件限制。

杰森：对，硬件限制是件大事。但如果硬件受限，它就会拖慢一切。因为要知道你在某个任务上有没有进展，你最终得在硬件上评测。所以如果评测不能非常自发、非常快，它也会限制你的研究进展。因为那样的话，我们怎么采到对的数据？比如怎么采到对的数据去做极其复杂的事，比如把这个工作室布置起来？你可以想象，今天大多数数据是基于视觉的：视频流，加上对机器人关节、对你手部动作的某种编码。但人类有多得多的传感器。我们听得到、摸得到。

swyx：闻得到。

杰森：对，你闻得到。我们在潜意识里用所有这些来帮助自己在物理世界里操作得这么好。可如果今天我们根本没把这些采集下来，那么即便扩展到几百万小时，你可能仍然缺失任务的关键维度，于是你永远解决不了那个任务。所以我认为这些就是拖时间线的东西。但对那些你今天就能高保真采到数据的任务或者工作流，我倒不一定认为存在根本瓶颈。就像我们这周要向公众展示的：我们有一个物理智能体，可以像人一样完成整套叠衣服流程。因为对那个任务来说，你并不真的需要「哦，其实你需要比平行夹爪更多的东西」，也不需要今天根本不存在的某种感知模态。所以我确实认为，要做到通用得多，最大的瓶颈仍然是硬件和数据。

swyx：我想借这个机会聊聊——让你夸夸你们的客户和合作伙伴。你们公布过一些合作关系。我们可以从 Best Western 开始，然后也许说说其他你们引以为豪的。有什么好故事都行。

杰森：我们官网上有一篇部署博客，讲得详细得多。我强烈建议看那个视频，我觉得那个视频——

swyx：哪一个？Best Western 那个？

杰森：不是，我们有一个视频涵盖我们在合作的所有客户。那是很好的视频，展示了我们在做的事。我觉得很棒。总之我们是有客户的，Best Western 在酒店行业。我们为他们叠大量布草毛巾。每家酒店都需要，每个健身房、每个健身中心都需要。

swyx：目前的部署是什么样？比如，我要去看的话，去哪一家 Best Western 能看到？

杰森：如果你想去某个地方看，我其实更推荐去我们另一个部署点，鼎泰丰。你们去过——

维布：皮很薄。

swyx：我们应该去那儿拍。

杰森：刚在那儿拍过。

维布：花絮镜头。

杰森：但在鼎泰丰，如果你去鼎泰丰或者别的稍高档的餐厅，桌上是有餐巾的。所以今天我们的机器人为美国很多家鼎泰丰门店叠了成千上万条餐巾。那其实是我们规模最大的客户。这里我想区分一件事：今天有很多机器人公司在谈部署、谈试点，但真正难的不是把机器人放进一个场地、或者做一个试点。真正难的是客户相信、并验证了你的机器人创造了足够的价值，让他们想在你的机器人上铺开到他们的很多门店。这就是我们在鼎泰丰身上发生的事，而据我所知，做类似通用机器人的其他公司还没有真正做到这一点。所以在鼎泰丰，我们的机器人每天叠数千条餐巾。它的质量标准极高，因为他们要求——第二次折叠或者说餐巾的接缝，只比那个……我甚至不知道怎么叫它，那个口袋，也就是你插筷子的地方，低几厘米。所以这其实是非常精细、高精度的任务。我可以给你看。

维布：在某种程度上，这正是机器人擅长的地方，对吧？人类不是最稳定的——尤其在小细节上，而机器人能在一定程度上做得完美。有意思的是，你拿这个例子来说明通用机器人；而在某种程度上，我想人们会以为——你可以有一个专用机器人，把餐巾折得精确到毫米，而不是像这样的东西，但……

杰森：我相信，也许可以，对吧？但操作可变形物体难的地方在于：餐巾、毛巾，所有东西都是可变形体，存在无限多种可能的构型。这对专用机器人来说真的很难。而我们的发现是：做一个通用的机器人模型，再把它适配到这些用例上，实际上能更快达到量产质量。而很好的一点是，现在鼎泰丰已经扩大规模、跟我们签了更大的合同，他们不只希望我们的机器人叠餐巾，现在他们还想要我们的机器人去切菜。这就是为什么我们有了那个例子——把食物切到——

swyx：那真的是第二个用例吗？

杰森：那是他们正在考虑的一个用例。鼎泰丰每天要切很多蔬菜。

swyx：他们得包小笼包。

杰森：正是。要折出那个褶。那是最终 BOSS。

维布：那是最后一关。

swyx：我觉得你们可以。我觉得你有那个灵巧度和精度来做这件事。

维布：你有个小机器人。

swyx：但不行，不能把小笼包弄破。

维布：显而易见的收益是你可以再适配它们。

维布：我觉得你还真正触及的另一件事是速度，对吧？要做一个定制的、层数完全准确的餐巾折叠，你必须做一台机器出来，你不能在亚马逊上买。而这台能做得相当快，对吧？

杰森：对，这个能做得非常快。而且现在它其实已经达到人类持平的水平了。而这台机器人不会累，不需要……你知道，你可以。而且我真的很喜欢你提到「一致性」这一点。鼎泰丰的一个问题是：他们在洛杉矶的门店和纽约、西雅图的门店，叠餐巾的方式略有不同；但从他们的角度，他们要的是统一。而模型恰恰擅长这个，因为模型就是一组权重，你只要把这组权放进不同门店的不同机器人里——

维布：你还可以 OTA 更新它们。

杰森：对，你可以一次性全部更新。一旦它跑通了，我觉得这真的——难以置信。

维布：最终 BOSS 是芝士蛋糕工厂。那里的说法是，一切从零做起，非常一致，精确到克。每一种酱都是自制。你在世界任何一个地方去，吃到的都完全一样。你不知道的话就不知道。但那才是最终——

swyx：我脑子里蹦出来的词是「机器人版苦涩的教训」（bitter lesson），对吧？你不去做那种需要大量工业工程的专用机器人，而是做一个通用平台，然后在最后一公里做微调——

维布：没错。

swyx：然后做所有这些事。

维布：把你的专家能力做成外面的加装件。机器人版更苦涩的教训是什么？

杰森：我认为机器人有几条苦涩的教训。第一条是：机器人会像机器学习解决过的其他领域一样，靠规模化来推进。这意味着什么？意味着要有尽可能多的数据。但在机器人里，更难的一件事是：什么才是对的数据，比在其他领域难搞清楚得多。语言就是文本；视频游戏就是游戏数据。但对机器人来说，你选什么传感器，决定了你拥有什么样的数据。可如果你有对的一套传感器、并且只是把它规模化，我认为你就能得到可预测的模型性能回报。所以从这个意义上，机器人并没有那么不同。这就是那条苦涩的教训。它的一个推论是：机器人领域有很多研究在提出非常具体的先验，比如「我们要让机器人把物体看出它本来的样子、画出一些框」，那会给机器人更好的感知。但我认为这里的苦涩教训是：就让算法更简单，然后把对的那种数据规模化，泛化和更好的行为会自己涌现出来。所以并没有那么不同。第二条——我认为主要的苦涩教训就是这个：归根结底，规模化会奏效；但在机器人里，规模化以及如何规模化要难得多，因为没有互联网。你必须自己搞定硬件、搞定传感器，把这些都对上，然后才能规模化。然后我觉得……

维布：有一种论点是，这个世界是为人打造的，所以它就应该是一个人，对吧？不管硬件问题有多难，往后想十年、二十年、一百年、两百年，我们能不能造出一个真正高效的人？但你现在必须对着手上有的东西务实，对吧？

杰森：我的想法是：是的，最终机器人应该是——如果我们要造一个通用机器人，一台能适配尽可能多用例的机器，我认为人的形态会是最好的，因为这正是我们做了很久很久的形态。但我认为真正造出人形机器人的最好方式，是采取迭代的方法。因为机器人太难了，整个问题、整个栈太长了，你很难先验地知道什么决定是对的。而硬件决定要贵得多、代价大得多，因为硬件迭代慢得多，所以你其实应该采取增量的、迭代的方式，而不是一路做到最终形态。因为很可能你造出来的东西活不下来、不够好，最后你还得推翻重来。Optimus 是公开新闻，它已经过了很多次迭代，他们不得不推翻自己的设计。我认为，用半人形形态迭代，并且真的把它们送到真实客户那里、让模型真的部署起来，你能得到那个反馈回路；而如果你只是去造一个仓库人形机器人、花五到十年去造，你得不到。我认为迭代的方式会让我们更快逼近最终那台机器人。

维布：我要说一句，给只听不看的人：这大概是我们见过的最顺滑的机器人。就像——

维布：……你见过的每一个人形机器人都是抖的，而连人类走路都没有这台东西这么顺。

swyx：因为，对，这个模型能同时驱动每一个电机。

维布：在两个以上的自由度上同时，对。

杰森：对，那其实是个很难的问题。因为如果你只想模型，它输出的是动作，有动作维度的问题：维度越大，让模型拟合数据就越难。而这里的动作空间相当大，但我们做得很好，确保模型拟合得好，给你顺滑的——

swyx：你能给出动作空间的数量级吗，还是说——

杰森：是大约一百个动作维度的量级。

swyx：对，而且这些全是连续的，对吧？

杰森：连续的。所以模型基本上是以非常高的频率在预测，比如至少五十维的向量，每秒十到二十次，才能得到那种连续运动。

swyx：而且可能预测未来一到两秒，那就是另外一百帧之类的。

杰森：当然。

维布：这里有一点历史，我猜，类似于之前状态的上下文。

杰森：上下文在机器人里是非常重要的东西。因为否则，如果你只根据当前观测做决定，有时候真的很难判断下一步该做什么。比如你想着打开微波炉，在中间那个阶段，你不清楚自己是在——

维布：关上

杰森：……关上还是在试图打开，对吧？所以上下文也非常重要。

swyx：我这里有一张开冰箱演示的截图，那里面是有智能体式的规划、持物等等这些东西。我们可以给听众看。

维布：我觉得那是一个有意思的侧面。在模型之后——

维布：……你怎么把它包成一个智能体式的壳（harness）？比如——

swyx：Claude Code

维布：……Claude Code 那样的部署？Claude Code 的界面。你们有很多很酷的界面，但把模型输出包到最终成品里，需要什么？这是按用例定制的吗？还是你们有自己的 SDK？

杰森：最终我们会有自己的 SDK，但我们的想法是：我们要为机器人基础模型做一个通用的壳层（harness layer）。今天，那个模型是我们自己的。我的想法是，对物理世界里的任何真实任务、长任务来说，你要做很多高层决策。它不只是「机器人在物理世界里推理动作和连续轨迹」，因为那非常底层——那是你在物理世界里真正执行的东西，但那不是意图。当我们做决策时，我们想的是配方的步骤：我做完了这个，我需要做那个；在等这一部分完成的时候，我需要去别的地方做别的事。这里有大量高层认知和决策在发生。我认为机器人要处理哪怕是我们给你看的这个叠衣服任务，也必须具备这个能力。因为它需要推理出：好，洗衣机在转，那我应该趁洗衣机转完之前去做别的事；现在洗衣机停了，我应该立刻把毛巾从洗衣机里拿出来放进烘干机，对吧？因为不然它就会成为整个工作流里的瓶颈。所以机器人需要做大量推理。理论上你可以试着用一个底层输出动作的模型去学这些，但那会极其低效。所以原因就在这里：有一个分层的系统，比如在我们的世界行动模型外面套一个壳、一个智能体系统，才让模型能够组合不同的能力、不同的技能去解决长得多的时间跨度的任务。这非常像语言模型：两三年前，模型只擅长自动补全，人得不停敲键才能让模型继续吐代码；而今天，一个智能体系统就能端到端地承担任务。我认为这很重要，因为今天在机器人领域，人们想的还是任务级自治——一分钟、三十秒的任务。但真正的价值在于那些无人干预、持续数小时的任务或工作流。这正是我们在朝之建设的方向。这也是为什么我认为要把机器人问题当成一个系统问题、而不只是一个建模问题：你需要好的智能体、好的壳工程、好的模型、好的硬件，所有东西。这就是我们认为通用机器人应该被解决的方式。

维布：你们能感受到语言模型编码工具变好带来的好处吗？比如新的 Opus 5.5、新的 Astra。你们的智能体壳里会用语言模型吗？语言模型那边 AGI 的进展怎么影响你们？

杰森：当然，绝对有。它以很多方式深深地影响我们。一是我们是一家极度 AI 原生的公司：编码智能体之类的东西是我们工作的一个非常基础的部分，我们非常欢迎它。每出一个新模型，我们都是第一个去试的。比如 GPT-6 出来那周，我们就办了一场全公司的黑客松，我们工程师做出来的东西难以置信。其中很多——我们做的很多功能已经进了主分支、上了生产。所以我们真的很喜欢用编码智能体来加速工作。

swyx：替感兴趣的人问一句，GPT-6 里你发现了什么让你意外的东西吗？

杰森：……是它构建虚拟环境的能力。我们二十分钟前聊过这个。我觉得那非常令人兴奋。

维布：有意思。有那么多 CAD、Zillow 到 3D 之类的东西。

swyx：他在黑客松上输给了那个 CAD——

维布：我赢了。做 CAD 那种玩意儿的是我。反过来说。

swyx：不。哦。

维布：那是——我为了好玩参加过一场 GPT 黑客松。我当时想「我对 CAD 一无所知」，那就玩玩它好了，因为每个演示都在做它。我心想「这肯定是一堆垃圾」。结果一看，「嗯，它还挺接地气的，还不错」。不过也就是黑客松级别的玩意儿。

维布：……

swyx：好。我本来想把用例收个尾，然后聊一点公司文化和你个人的背景。

维布：我有两个技术问题。第一，你们有没有给自己设什么目标，比如六个月、一年、两年的尺度上，你希望机器人能做什么——填空——你们正在朝那个方向努力？

杰森：在六个月到一年这个区间，我们的目标肯定是把机器人和模型规模化，真正让它们部署起来——

维布：某个任务。

杰森：……完全不同。

维布：比如现在它是在切东西、开冰箱。有没有——你们会给自己设「到这个时间线，为了不掉队，我们应该能做什么」这样的目标吗？

杰森：在部署方面，我们在探索很多不同的行业。我们没有认为哪个特定任务是我们必须拿下的，因为我们的目标是造一个通用模型、一个通用平台，我们把每一个不同的任务都看作对我们平台的验证，看作我们弄清如何把一切做得更好的切入点。今天我们在洗衣、餐饮上做了很多，已经部署了几十台机器人，而明年的目标总体上是部署几百台。

维布：我第二个技术问题：你怎么看行业里的其他人？给大家补一下背景，别人在做世界模型的路线是什么？为什么他们错了？他们的路线里有什么不同但也很好的地方？这个领域里机器人世界模型的格局是什么样，以及你们怎么走到现在这条路？

杰森：这是好问题。我认为机器人是今天最令人兴奋的领域，有太多我真正尊重的了不起的公司。他们像我们一样在做很棒的前沿工作，非常令人兴奋。我认为今天我们看到的是，机器人领域仍然有很多不同的路线。比如我们相信硬件必须自研、必须拥有整条链条；我们相信把人类数据规模化极其重要。但也有公司押注只把机器人数据规模化，或者把某种中间形态的数据采集设备规模化。这些都在牌桌上，是不同的路线，我们看结果就好。我认为现在还稍微早了点，不好说，但我们对自己做事的方式挺有信心，因为作为一家公司，在文化上、使命上，我们不是来只做一个模型的，我们是来真正让机器人部署起来的。所以我们尽可能多地部署、去啃难的问题，于是我们更早就识别出问题。我认为这真的帮我们弄清了真正的瓶颈在哪，然后去解决它。而对那些只做问题某一部分的人来说，这有点像战争迷雾：你其实看不到全貌，你造出来的东西可能在技术上极其酷，但最后可能不是人们需要或想要的。我认为有一整个机器人公司的坟场，那些公司的机器人大概都非常光鲜、非常酷，但就是没搞清人们到底想要什么。「做人们想要的东西」说起来很容易，人人都这么说，但真正去执行一家机器人公司其实非常难。

维布：在技术那一侧，你们有世界行动模型。这在行业里是标准做法吗？别人在走别的方向吗？

杰森：我要说那也不是标准。我们是在世界模型之上做世界行动模型。有很多公司在做世界模型，你提到的 Runway，他们也在往——

维布：视频世界模型。

杰森：也有公司在做视觉—语言—动作模型。

维布：VLA。

杰森：那基本上是把视觉语言模型适配到机器人上。所以我认为有很多不同的路可以走。但我认为归根结底，我们把模型叫什么，远不如我们认为从第一性原理上模型必须能做什么更重要。我想稍微解释一下。我认为对机器人来说，最重要的一件事是你必须能够预测未来。机器人、任何物理系统，本质上都是：基于你现在和之前拥有的信息，你下一步应该做什么？所以它真正讲的是预测接下来会发生什么。预测机器人动作，就像预测机器人下一步该做什么。但你想想，机器人只是世界的一部分：机器人影响世界，世界也在影响机器人在那个环境里应该如何行为。如果你这样想，那么最底层的、你能做的最大化的事情，就是尽可能多地预测这个世界。所以这就是为什么我们认为「预测未来」极其重要。今天，它的实现形式就是世界行动模型。而 VLA 只预测机器人动作，或者对世界某种更抽象的表示。可当你预测对世界的抽象表示时，你其实把你自己的偏见编码进了「什么值得被预测」这个问题里。而更大的那条教训告诉你：把人类的偏见拿掉，就用最原始的表示、也就是相机输入，然后去预测它的全部。这就是我今天看待机器人建模的方式。

swyx：那我再追问一下：你基本上是在说，你们的路线比 VLA 更好，对吧？因为你们强调预测。我完全买账——你说服我了。如果你们错了，最可能的第二名是——

swyx：别人在做的那条路是什么？

维布：有意思的问题。

杰森：对，我刚才说的有一个前提条件，而我想我可能错的地方就在这里。我说你必须尽可能多地预测这个世界，但这句话没有说的是：你的传感器是否拥有你想预测的世界的一切？我前面稍微提到过这一点：如果你训的是一个纯粹基于视频的世界模型，我认为它会是一个很强的世界模型，但它可能不够丰富，因为你缺失了世界的关键面向，比如声音、比如触觉。所以我认为我们可能错的地方是：好，我有了最好的基于视觉的世界模型，但明天有人做出一个视觉加触觉的世界模型，它在数据效率上要高一百倍，因为视觉是一种信息高度冗余的输入——每隔一个像素，其实变化并不大；你不需要完美的视觉也能理解世界。而触觉、别的模态可能在信息上密得多。所以也许去预测那个，就能让你用少得多的视觉；也就是说，你能用少得多的算力、少得多的数据达到同样的性能。不过——

swyx：我觉得你会很容易适配过去。

杰森：不，正是。

维布：数据量上也有一个层级。

杰森：对。我提这一点的原因是：如果最终解决机器人问题的，是一个视觉—触觉的世界模型，或者视觉—触觉—听觉的什么模型，那么我认为机器人公司会比那些正试图转向机器人的视频生成公司做得更好。原因是理解传感其实非常复杂。我们从公司成立起就在做这件事，所以我们知道瓶颈在哪，也知道怎么把它们组合起来。而如果你只是想把一个视频模型适配到机器人动作上，那么万一我们错了、万一视频模型不够，你其实没有那套把触觉真正做好的 know-how。而我们有。

swyx：这是个题外的问题，但我觉得很快：「热」似乎非常重要。红外对你来说只是另一种颜色吗，还是说——

杰森：它可以是另一种——

swyx：只是另一种颜色。

杰森：它可以是另一种颜色，模型的另一个输入。其实可以用在烹饪场景里。我知道有公司在用红外来判断食物熟了没有，因为那从 RGB 相机上真的很难看出来。

维布：我对你最后一点做一个非常朴素的反对：也许我们不需要理解硬件，Claude Code 或者 Codex 直接「凭感觉」写出来就行。很多东西你不理解也能做出来，不过当然——

swyx：只是它不在分布里。

swyx：那我想稍微聊到你的个人故事或者背景。我们两个都上过宾大。

杰森：我今天刚知道这件事。太疯狂了。

swyx：对。我最大的遗憾是我没加入那个自动驾驶的 DARPA 挑战赛。那样的话我可能早就进了 Waymo 之类的地方。你在 GRASP 实验室待过，后来又在 Google 和 NVIDIA 工作过。 academia、Google、NVIDIA 各自的关注点有什么不同？这些地方你都见过，对吧？然后显然这让你决定「这些都不干了，我要自己做自己的事」，对吧？你本来可以加入 OpenAI 的机器人实验室。所以——带我们按时间线走一遍，同时也说说你在每一处学到的一件事。

杰森：按时间线的话，也许先讲讲我最初是怎么进 AI 的比较有用。我小时候在日本和中国待过。我是下围棋长大的，就是 AlphaGo 里那个围棋。AlphaGo 出来的时候我正在读高三，我被彻底震住了，因为我下了很多年这个游戏，它太复杂了。我印象里在 AlphaGo 出来之前，人们说：「围棋是 AI 永远解不了的游戏之一。」它的搜索空间比世界上所有原子的总数还大，你怎么可能在里面搜到解？然后 RL、强化学习就把它攻破了。我想这就是我最初进入 AI 的路径。我对能够自我改进的模型、系统、智能体非常感兴趣。所以当我到宾大读博时，我就特别想做强化学习。我是双导师，两位导师当时都对 RL 感兴趣。其中一位更偏机器人，他在伯克利的机器人实验室做过博士后，我就是这样进入机器人的。宾大有 GRASP 实验室，我认为那是做机器人最好的地方之一。所以我在博士期间就是这样做起机器人强化学习的。然后我做了很多研究，想的是怎么把强化学习和人类数据连起来、怎么非常严谨地做强化学习理论。之后我去了 NVIDIA，那时 GPT-4 出来了。当时我们非常想解决一个转笔的任务，我不知道为什么，就——

swyx：这是灵巧的——是灵巧度的限制，对吧？你能解开魔方，然后你——

杰森：当时我在和——

swyx：Jinpeng

杰森：……和 UCO 的 Jinpeng 一起做，你们大概也知道他。对，我们当时就说：「好，我们来做灵巧的转笔。」最初的想法是从人类视频里学，我们试着看人类怎么做。但后来我意识到：今天我们根本没有一只灵巧到能转笔的手，那就算从人类学习管用，我又怎么去评测这个算法？所以我想：「好，我们得先在仿真里试。」而当我一开始给一只拿着笔的机器手搭仿真环境时，我立刻看到了问题在哪。问题就是：如果让我自己想出这个仿真环境、为强化学习解转笔写奖励函数，那是不可能的。我没法把所有让 RL 学到正确行为所需的项都想出来。然后我就想：「如果一个会写代码的模型能来做这件事呢？」这就成了 Eureka 项目。我们基本上——在我看来，我们做出了仿真里第一个递归自我改进的机器人智能体，因为我们真的用去解了一个此前没人演示过的新任务。这也让我看到了用语言模型、用编码模型真正加速机器人的潜力。之后我去了 Google DeepMind，因为当时——甚至今天——他们拥有 Gemini 这样的前沿模型之一，我在看怎么把 Gemini 用在机器人上。但最终我意识到：做学术研究我玩得很开心，但心里一直有个问题挥之不去——「这些真的有用吗？」当你在实验室里做这类事时，你问自己：「我们怎么想出这么多有趣、好玩的任务？」你其实是在给自己出考卷、给自己批作业。我想要更真实的东西，我想要真正能被世界上数百万人使用的东西。我觉得 2024 年就是我们创办 Dyna 的时候——2024 年底。那是把这些技术真正推到真实世界里的正确时机。所以这就是为什么——

杰森：我和 Lindon Gao、York Yang 一起创办了 Dyna。快进两年，我们做出了自己的平台、自己的模型，我们的机器人在鼎泰丰里。去看看，顺便——

维布：去吃一顿。

杰森：对，去吃一顿。这是一段旅程。但真正让我仍然兴奋的是：我们创办 Dyna 时我暂时放弃的很多想法——因为要做一家公司你必须非常务实——比如我认为 2024 年仿真还没准备好，但现在有了新的前沿模型、加上我们在内部看到的东西，这可能会改变。这非常令人兴奋。

swyx：那我们也聊聊公司文化。你用什么原则在建这家公司？显然你要负责科学和研究议程。而且我们见到那些工程师时，感觉他们非常投入、非常有主人翁感、非常有动力。

维布：我要说，看到大家做了那么多副项目挺有意思的。我们看过的一些演示，就是工程师们自己说「嗯，这看起来好玩，那就做吧」。说到你说的那种好玩的评测，就在镜头后面两英尺的地方——

swyx：那个不能说。

维布：……那个评测就是：有几支记号笔，四支记号笔被橡皮筋捆在一起，对吧？就是那种——谁会想出「对，我们得测一下把橡皮筋套到记号笔上」这种事？就是——

swyx：有点像 Fissionary（原子分裂狂）

维布：……好玩的东西。这里的人非常有创造力。这是个很漂亮的空间。

杰森：对，我想说文化。我们先说说我们怎么运营一家公司。我们把自己看作——最终——一家「研究加产品」的公司。有点像 OpenAI：你做前沿研究，但最后它们都会通过 ChatGPT 进到 Codex 里。我们也是这样想的。我们不是来这里做随便什么当时感兴趣的东西的，我们一直是产品驱动的。我们想把机器人、把平台部署到一个新客户那里，那我们必须解决哪些技术问题？我们必须解决泛化，必须解决全身控制，必须解决如何快速适配，必须解决如何让机器人遵循语言，必须解决灵巧度。一旦这些问题非常清楚，那么——我们的工程师非常能干、非常聪明，他们就造出这些任务的具体实例，造出那些会压力测试这些能力的任务。比如「拿一杯饮料」这个任务，就是我们测试「遵循语言」的方式：你只要指定你想要什么，如果模型能遵循意图、遵循指令，它就应该能做到。这就是我们的思路：在顶层，我们确定必须解决什么；然后我们有很多底层的子项目来实际推动执行、解决问题。然后你招对的人。这里每个人都对机器人极度热情，他们做这件事做了很久，他们热爱它。我们只是营造一种让这一切自然发生的文化。这是一个非常好玩的工作地方。

维布：技术研究软件和硬件这两侧的占比是多少？

杰森：我们最近扩张得很厉害，所以我没有精确数字。但我会说硬件那边大概占百分之三十到四十，因为硬件需要多得多的人。然后我们大约有十个人在做模型。还有软件工程师、机器人工程师。业务那边也有很多非常有才华的人。做一家机器人公司最好玩的地方是：你能看到一切。天底下任何可能有用的东西，都会有用。所以你能接触到非常多来自不同背景、都对机器人充满热情的人。作为创始人，这对我真的很有启发。当我在实验室做研究员、或者读博的时候，我每天跟研究员说话，那很好，真的很好，我现在每天也还能这样做；但现在我还能从这么多不同人生轨迹的人身上学习。比如我们有些采集数据的人，他们完全没有机器人经验，之前在零售业、在做别的工作，他们来了这里，也变成了训练有素的机器人从业者，我觉得这非常了不起。我也把自己看作一个还在学习的人——我总是在机器人这个领域里学习，而我从来没有像现在学得这么多。虽然你看我现在已经不是学生了，我在这里经营一家公司、管很多事，但我仍然觉得每天学到的东西太多了。

swyx：最后收个尾，Dyna 要往哪走？两年、五年，愿景是什么？

杰森：我们的愿景是真正——高层使命是真正把机器人和智能带进物理世界。也就是真正看到我们的机器人部署到成千上万个客户那里，甚至更多，数百万台机器人。那是我们想去的地方。

维布：Dyna 这个名字是从哪来的？Dynamic？有故事吗？

杰森：有很多故事。Dyna 是我命名的。内部有很多选项。

维布：把功劳领了吧。

杰森：……内部有不同选项。名字是怎么来的有两件事。第一，图灵奖得主理查德·萨顿——强化学习的先驱——很多年前写过一篇叫 Dyna 的论文，讲的其实就是一个能自我改进的智能体、世界模型。我觉得即便我们创办公司时还没做世界模型，我也感觉机器人就是这样被解决的。现在我们技术方向正在向那个收敛。所以我觉得那是一个很妙的启发；也因为我是做强化学习的，我对理查德非常尊重。第二件事更私人一点。我在日本长大，我出生的那一年正好有一部动画，不知道你们有没有看过《奥特曼》。

swyx：当然看过。

杰森：那年的奥特曼就叫 Dyna（戴拿）。所以，这是很少人知道的细节，我猜现在大家都——

维布：团队现在也才知道。

swyx：不过我觉得理查德会欣赏这个。我不知道你有没有跟他聊过，但——

杰森：没有，我在 RL 会议上见过他。

swyx：你应该直接上去说：「嘿，这家公司——」

杰森：对，我会邀请他来看看——

swyx：受你启发。

维布：大家都知道理查德是因为苦涩的教训，不过你知道。

杰森：对，也是苦涩的教训。

swyx：好，最后有什么感言或者号召吗？

杰森：号召。对，我确实觉得，作为一个行业，机器人现在还是太「演示导向」了。我过去在实验室做过很多演示，甚至在这里我们也得展示一些演示。但我认为我们需要更多真正以使命为中心的人——不惜一切代价让机器人部署起来、让机器人基础模型真正和硬件集成、并在真实客户现场跑起来。我认为我们在这方面是先行者，我希望这个领域里有更多这样的人。对正在看这期节目的观众：如果这个使命能激励你，如果解决今天最难的问题就是让你每天醒来的理由、你想贡献一份力，我们一直在招人，也期待你的加入。

swyx：湾区？还是别的地方？

杰森：今天只在湾区。

swyx：湾区。

杰森：但随着公司成长，对其他地点永远别说永远。对，这就是我想说的，我希望在世界上看到更多机器人。

swyx：太好了。恭喜你们做的一切。两年做出这样的进展难以置信。真的很厉害。

杰森：非常感谢。谢谢你们过来，希望你们玩得开心。

swyx：我不后悔跑这一趟现场。我们很多访谈是在演播室做的，但这次值得。

杰森：我觉得做机器人，就得去现场。

维布：给只听的人一句：去看视频版。我们有很多好玩的花絮镜头。