Waymo 的第一段自动驾驶 demo 花了 18 个月，真正的产品花了 15 年。AI 科技评论注意到，Dmitri Dolgov 给物理 AI 创业者的提醒，不是把 demo 做得更像产品，而是先算清楚产品需要多少个 9，再决定技术、验证和部署方法。1
Dmitri Dolgov 是 Waymo 联席 CEO。本期 Y Combinator Startup Podcast 的演讲，围绕 Waymo Driver 如何从研究项目变成大规模服务展开：错误代价、毫秒级延迟、数据缺口、第一天的验证标准，以及一套由 agent、模拟器和 critic 组成的 AI 训练系统。2
人物
Dmitri Dolgov：Waymo 联席 CEO，长期负责 Waymo 自动驾驶技术与产品化。本期演讲只聚焦他在 Waymo 累积的技术经验：世界模型、闭环仿真、传感器融合、车载推理和安全评测。官方 Startup School 2026 横幅中的真人头像与职位标注来自本期节目相关页面。1
先看数字：Waymo 把「安全」做成了运营数据
- Waymo Driver 每周约完成 50 万次出行，每周行驶超过 400 万英里，覆盖美国 15 座城市。1
- 演讲中提到，Waymo 已完成超过 2000 万次全自动驾驶出行，累计全自动驾驶里程超过 2 亿英里。
- 第一个 1 亿英里用了 15 年；下一个 1 亿英里用了约 7 个月。
- 按演讲援引的最新安全数据，在 Waymo 运营区域，Waymo Driver 造成严重伤害的碰撞率约为人类司机的 1/17。
- Dolgov 给出的道路安全背景是：全球大约每 26 秒就有一人死于道路事故；按 Waymo 当前规模，系统约每 8 天避免一次严重伤害。
这些数字是演讲当时的公开口径，不等于对所有城市、所有道路和所有驾驶场景的普遍结论。Waymo 也在官方公司页面持续发布运营与安全数据，读者应把不同日期、不同里程口径分开看。3
物理 AI，先过四道窄门
数字 AI 出错，通常可以重试一次；车在路上出错，没有撤销键。Dolgov 把物理 AI 与数字 AI 的差异归纳为四个 gap。
1. 错误代价差距
语言模型、聊天机器人或 copilot 出错，代价通常是重新提问、重新生成，或者损失一个 token。物理世界里的错误可能以人的生命来计价。
2. 延迟差距
高速行驶的汽车一秒钟大约前进 100 英尺，所以毫秒会改变结果。推理必须在车载计算平台上完成，算力还要装得进车尾箱。
3. 数据差距
数字 AI 有互联网这座巨大的、包含人类知识和思想的预标注缓存。物理世界没有一个同等规模、同等可检索的「现实互联网」。
4. 验证差距
数字产品可以先做到「够好」，让用户上线后帮忙找边缘案例，再逐步爬高质量曲线。物理 AI 必须在第一台机器人上路、第一英里自动驾驶之前，就达到很高的安全性和置信度。
但系统也不能只在实验室里等到完美才上路，因为真实世界的经验不可替代。可行路径是先清楚定义运行条件和部署参数，再建立一套严格的部署框架，逐步把系统推向规模化。Dolgov 认为，客户、社区、监管者和团队自己，都是靠这种过程建立信任。
七课：从 demo 到一套能在现实里工作的系统
01｜Demo 不是产品
Waymo 的第一课，是 demo 与真实产品之间有一条巨大、令人沮丧、甚至让人筋疲力尽的鸿沟。
一个能工作的 demo，最多只占全部工作量的 1%。后面那一串性能和可靠性的 9，才是工作主体。
Waymo 项目始于 2009 年。团队一开始给自己定了两个目标：让车辆在自动模式下行驶 10 万英里；完成 10 条各 100 英里的路线，每条路线都要覆盖旧金山湾区的不同条件，并且从头到尾不需要人工干预。
当时团队大约只有十几名工程师，约一年半后完成了这两个目标。那时还没有 ConvNet、Transformer、VLM 这些今天常用的 AI 技术。
按 demo 标准看，2010 年自动驾驶似乎已经解决了：白天、夜间、车辆、行人、自行车、红绿灯、施工区、高速和地面道路都能处理。团队觉得自己已经「能力完备」。
等他们开始把系统往产品方向推，现实立刻出现：偶尔完成一次，和在没有驾驶员的情况下运行一项可规模化服务，完全不是一回事。
Waymo 又花了约 10 年，才开始提供服务；再花 5 年，才扩展到每周 50 万次出行。demo 花了 18 个月，产品花了约 15 年，但现在进入了指数级扩张阶段。
从最初开始只载乘客的运营，到覆盖四座城市，Waymo 花了约 8 年。今年早些时候，Waymo 在一天之内推出了四座城市。
为什么需要这么久？因为可靠性和性能都在一条指数级的 9 的阶梯上。做到第一个 90% 或 99% 相对容易；每增加一个 9，努力程度大约增加一个数量级。
团队必须提前知道产品需要多少个 9。demo 可能只需要一个 9，辅助驾驶产品或 copilot 可能需要几个 9；但一个要在物理世界里运行、面对公众和到处奔跑的孩子的全自动驾驶 agent，需要整叠的 9。
规模起来之后，长尾就是问题本身。每周行驶数百万英里时，一个百万英里才发生一次的稀有事件，会变成每天都要处理的现实。
再往后走，不能只把达到前两个 9 的工程方法重复更久。要做到六个 9，必须换方法：可靠性需要完全冗余的系统、分级的故障回退架构；模型性能也一样，需要新的技术路径。
这也是物理 AI 的残酷之处：开始很容易，做到真正的产品却异常困难。每一轮技术突破都会把 demo 和原型变得更容易，可能简单 100 倍；但困难的尾部只移动了一点。
所以每一轮 hype cycle 都会产生一批非常漂亮的 demo，却很少产生真正的产品。反复出现的错误，是把本该留给那些 9 的资源，花在了 demo 上。
Dolgov 不想给创业早期的兴奋泼冷水。那段时间很神奇，应该珍惜，也应该利用。
但团队必须诚实面对：自己要造的产品到底需要多少个性能和可靠性上的 9，不能为了尽快抵达那个数字而省掉关键环节。
先数清楚你的 9，再数 demo 播放量。
02｜选对技术曲线
知道产品需要多少个 9 之后，技术架构和核心路线基本就被反向决定了。
每项技术都有一条「性能—努力」曲线：前期通常很陡，后来逐渐变平。一个常见陷阱，是选中早期上升最快的技术，沿着陡坡前进，觉得自己赢了，再把那条陡坡投射到未来，直到撞上平台。
你可能仍然会为了原型、演示或学习，暂时站在那条快曲线上。但必须讲清楚自己究竟是在做 demo、在学习，还是在奔向真实产品。
Waymo 用自动驾驶传感器说明了这件事。
人类只靠眼睛也能开车，这证明了「只用摄像头」确实可以存在。但如果目标只是大致达到人类水平，或做一个驾驶辅助产品，这种路线很合理。
如果目标是完全自动驾驶，并且达到明显超越人类的水平，弱感知往往会很早撞上安全曲线的平台。Waymo 因此使用摄像头、LiDAR 和雷达，让三种感知模态互相补足。
摄像头能提供高分辨率和颜色信息，但它是被动感知，在黑暗与眩光中会退化。
LiDAR 直接测量周围世界的三维结构。
雷达能穿透雾、雨、雪等环境条件，还能通过多普勒效应直接测量速度。
LiDAR 和雷达是主动传感器，在漆黑环境里，或者车辆驶向刺眼的夕阳时，仍能看到东西。
这些传感器不是简单地互相备份。Waymo 的系统为每种模态设置编码器，再把信息融合成一个更精确的周围世界视图，通常远胜于单一传感器。
在凤凰城的沙尘暴里，高清高动态范围摄像头看到的画面，几乎和人眼看到的一样：什么也看不清。相同一帧画面里，LiDAR 能更清楚地看见路边站着的行人；如果行人走上车道，提前发现会直接改变安全结果。
另一个例子发生在夜里：两名行人正准备越过混凝土施工隔离带走上道路。摄像头几乎看不到，LiDAR 却能发现他们。
还有一幕是两只狗追球，几个孩子追着狗跑。现场没有车灯，也没有路灯，是完全的黑暗；LiDAR 还是比摄像头更早发现侧面的孩子。
感知冗余也能处理传感器被遮挡的情况。一片叶子落在传感器上，可能就让机器人完全停住。
Waymo 有一辆车遇到一片叶子，或者说一整根树枝，雨刷也没能把它甩掉。因为拥有冗余感知，车辆识别出问题后，能够安全驶回车库清理。
硬件方面，Dolgov 建议不要把今天的零部件价格当成长期常数。Waymo 当时已经做到第六代 Driver 硬件套件。
每一代硬件都提升了能力，同时大幅简化系统、降低成本。把公司押在今天的硬件价格上，就等于把公司押在一个保质期很短的数字上。
硬件会变化，很多组件会商品化、降价。产品应该为那个未来设计，并且准备好升级。
03｜反复乘上技术浪潮
技术移动得很快，尤其是在今天。团队要准备好反复乘上新的技术浪潮。
但每次换技术时，不能只看能力和性能的提升，还要盯住统一性与简化。
Waymo 几乎在每一轮 AI 技术突破后，都围绕新技术重新构建 Driver。大约 2013 年，团队用卷积网络推进计算机视觉和感知；大约 2017 年，Transformer 出现后，又把它押注在感知、行为预测、决策和规划上。
驾驶与语言建模之间并没有想象中那么远。驾驶包含社会互动：车辆要和世界里的其他动态参与者「对话」，只是对话用的是车辆的身体语言，而不是文字。
驾驶和语言都处理序列。局部连续性重要，整体上下文也重要。
现在 Waymo 正在使用 VLM 和前沿世界模型。
把最新技术用于提升能力和性能，虽然不容易，但相对直接。单独做应用研究，或者成立一个 tiger team 去验证新技术，并不是最难的部分。
真正难练的肌肉，是把前沿研究带进生产环境，在安全关键的系统里部署，同时不发生回归，也不打断产品扩张。
增加能力不是最难的事；在增加能力的同时减少碎片化和复杂度，才更难，也更重要。
对公司来说，最难建立的能力，是反复穿越多轮技术创新，把每一轮的结果都带进生产环境。
Dolgov 给出两条建议。
第一，新技术出现时，可以成立一个 tiger team 去追它；但一开始就要想清楚成功之后怎么办。假设项目成功，它要如何进入公司的整体产品和系统？
他见过一种失败：一个很难的技术项目终于成功，却没有下一步。这样的投入既浪费，也会让团队泄气。
第二，评估新技术时，不要只问它带来了多少能力和性能，还要问它是否简化了技术栈，带来的是碎片化还是统一。
发布门槛应该同时要求突破性的性能和激进的简化、统一。
Waymo 多年练出来的这套能力，最后形成了最新的核心技术：Waymo Foundation Model。
这是一个多模态、世界、动作、语言模型。它之所以是多模态模型，是因为可以处理摄像头、LiDAR 和雷达的多模态输入。
它之所以是世界模型，是因为它理解世界的运行方式：物理、动力学，以及社会和语义层面。
它之所以是动作模型，是因为 Waymo 不只是被动观察世界变化，而是会对世界施加动作。模型必须理解 agent 的动作会怎样影响世界，并区分好的动作和坏的动作。
它还与语言对齐，因此可以从视觉语言模型中获得一般性的世界知识。这对长尾的、罕见的语义场景很有帮助。
从架构上看，它是典型的 encoder-decoder。编码器接收多模态感知，把它们压缩成一种高效表示，同时保留生成部分需要的相关信息。
这是一个端到端模型。它可以把任务最终需要的梯度，一路反向传播到模型早期层，让编码器学到生成部分真正需要的丰富表示。
它采用 system one、system two，也就是「快思考、慢思考」的架构，并利用 VLM 的一般世界知识来高效学习语义任务。
快路径会融合摄像头、LiDAR、雷达的原始数据，用于瞬间完成安全关键决策。它像车辆的驾驶直觉：行人突然跑上道路，或旁边自行车突然偏向车道，车辆可以在毫秒内刹车。
慢路径负责更复杂的语义和场景级理解。它们通常不会在毫秒级发生变化，因此可以接受一点延迟，换取更强的能力和更深的推理。
比如，Waymo Driver 遇到路边一辆着火的车。快路径可能只把它看成普通障碍物，判断前方几何路径是空的。
慢路径会理解这个物体的语义：它是一辆着火的车；再把它放进更大的场景里判断，于是即使前方在几何上通畅，车辆也可能采取完全不同的动作，或者改走另一条路。
最后是生成部分，也就是 decoder。它理解并产生行为，预测其他参与者如何行动，并规划 Waymo 自己的驾驶决策。
Waymo Foundation Model 可以驱动不同代际的硬件和不同车型，包括第五代和第六代硬件、Jaguar I-PACE、Ojai 与 Hyundai Ioniq。未来还会支持卡车、私人拥有车辆等不同产品和商业应用。
把复杂度往上游的大型共享基础模型移动，可以让运行在车上的专用层更轻，从而加快开发。
这课最重要的能力，不是只利用当下的技术，而是建立一套肌肉：反复乘上技术浪潮，把创新结果带进生产环境，不发生回归，不打断部署和规模化，也不被复杂度淹没。
04｜The Bitter Lesson 仍然成立
AI 社区有一个著名判断：利用大规模计算和大规模数据的通用方法，最终总会胜过依赖人工设计知识的方法。这就是 Richard Sutton 在 2019 年提出并阐述的「苦涩的教训」。
Waymo 在每一轮技术突破中都看到了这件事：能最好地随计算和数据规模化的方法，最后会赢。
这也是 Waymo 押注 Foundation Model 的原因之一。把数据和计算放到高容量模型上，会得到更好的 scaling law，再把结果蒸馏成运行在车上的、更小、更高效的模型。
结构是一个微妙的问题。结构的用法不同，可能让你站在苦涩教训的两边。
阻碍规模化的结构会输，帮助规模化的结构会赢。
端到端模型有很好的性质：梯度可以从最终任务一路反传，编码器与解码器之间的接口也能使用丰富的学习表示。
这些模型容易搭建和训练。先从模仿学习开始，黑盒端到端模型会让早期进展非常快，让你沿着曲线最陡的部分上升。
但如果目标是在安全关键环境中，让一个全自动 agent 达到超越人类的水平，基础的、原始的端到端模型还不够。
关键问题是：结构是在帮助规模化，还是在和规模化对抗？它是在限制解空间，还是让模型可以在不牺牲通用性的情况下扩展？
可以做一个围棋机器人的思想实验。机器人在现实世界里下棋，有摄像头观察棋盘，有执行器移动棋子。
一种做法，是让端到端系统直接从像素输出动作，再用人类下棋视频训练它。这会是一个有趣的研究练习。
但如果目标是造出世界上最强的实体围棋机器人，这很可能不是最高效的路线。因为棋局有一个简单的中间表示：19×19 的棋盘状态。至少就下棋而言，它完整地表达了任务状态，也让世界变得完全可观察。
利用这个结构不会限制模型，反而给模型提供了很有帮助的规模化方式。
当然，现实世界里大多数非简单任务都没有这样干净的工程化表示。正因为现实世界不存在这样一个简单、清晰的中间表示，我们才需要端到端系统、学习表示和学习嵌入。
但物理世界仍然有结构：物理定律、道路规则，以及行为相对可预测的物体。可以把这些结构和学习表示放在一起，提升性能、简化验证，最终得到更好的 scaling law。
Waymo 采用的方法叫 structure-augmented end-to-end，也就是结构增强的端到端系统。
它在学习到的嵌入之上加入已经物化的结构化表示，因此获得几个优势。
第一，可以在推理时验证。系统不再只是一个从传感器输入到动作输出的黑盒，可以在车上实时运行强大的正确性与安全验证层。
第二，生成部分的训练和评估可以更高效地大规模进行。纯黑盒端到端系统必须把训练和评估都放在从传感器到决策再到动作的完整链路上。
有了中间的结构化表示，训练和评估就可以组合：一部分在更大规模上做，一部分在紧凑的结构化表示空间里做，还有一部分仍在完整的端到端链路里做。
第三，结构化表示能给评估和训练提供强而可验证的反馈信号，也能帮助设计指标、损失函数和强化学习训练方案。
这课的结论是：押注最大程度学习、最小程度约束的系统，同时有意识地利用结构，提升训练和评估阶段的性能与规模化能力。
05｜物理 AI 公司都需要模拟器
接下来是一个问题：物理 AI agent 到底怎么训练和评估？
要在物理世界里构建并安全部署 agent，必须有一个大规模、真实、高保真的模拟器。
训练和评估有两种方式：open loop 和 closed loop。
open loop 是被动观察输入输出对，可以用于评估，也可以用于训练，模仿学习就是这种方式。评估通常是：如果你遇到这个场景，你会怎么做？然后给出评分。
closed loop 则是先采取一个动作，观察这个动作对世界的影响，再通过传感器更新世界视图，采取下一个动作。训练和评估的对象，是一串动作和一串世界变化。
能够采取一个动作，再评估它会导致什么反事实结果，是构建和部署安全关键物理 agent 的基础。
真正的模拟器就是用来做这件事的。
而真正的模拟器不是放在 AI 旁边的一件轻量工具，它本身就是一个大型 AI 模型。造出一个好而真实的模拟器，和造 agent 一样难。
模拟器背后的 AI 必须理解世界如何运转：物理、语义、交通、天气等等。
模拟器质量必须高到不仅看起来像真的，还足以让团队高置信度地训练和评估一个准备放进安全关键环境的 agent。换句话说，团队必须造出一个高度准确的生成式世界模型。
Waymo 多年来一直在构建 behavioral world model，也就是行为世界模型，早在 world model 这个词流行之前就开始了。
到了端到端模型时代，除了行为真实，还需要感知真实。
端到端模型早就不难构建，难的是把它放进 closed loop 里评估。
因此 Waymo 又开始构建 sensing world model，也就是感知世界模型。因为 Waymo 的模型使用结构增强表示，模拟器也可以利用同一套结构。
行为世界模型在结构化中间表示空间里运行，紧密耦合的感知世界模型再生成真实的传感器模拟。
Waymo 的世界模型借助了 Google DeepMind Genie 3 的工作，让团队能够生成可控且高度真实的场景，同时模拟行为层面和感知层面。
这样一来，Waymo 不只能在过去遇到过的场景里评估 agent、训练新版本，还能在现实中从未出现过的合成稀有场景里训练和评估。
演讲里出现的不是普通生成视频，而是 Waymo Driver 在 closed loop 中运行的完整生成式模拟。
模拟器可以模拟高速路车道上停着一辆车，也可以模拟一架飞机在前方高速路上降落、一头大象闯入路口、金门大桥下雪，甚至一只恐龙在路上行走。
这课的结论是：closed-loop simulation 是物理 AI agent 评估的必要条件，也极其适合训练。要训练和评估物理 agent，就需要高真实度、大规模的模拟。
06｜构建 AI 飞轮
面对这样复杂的问题，不能只造一个模型，然后宣布完成。
你需要整个生态，还需要一个能推动它的飞轮。
要让系统规模化，不能只造一个 AI。需要造三个。
第一个是 agent。对 Waymo 来说，它就是负责开车的 Driver。
第二个是 simulator，是 agent 学习的虚拟游乐场。
第三个是 critic，负责严格评估、判断 agent 的表现，并告诉它应该怎样改进。
这三个系统的基础推理与生成能力可以共享，所以 Waymo 让它们都建立在同一个 foundation world model 上。
当三个支柱就位后，就可以形成一个加速进展的飞轮。
agent 部署到真实世界，产生数据；数据让模拟器更贴近现实；模拟器生成更难的边缘案例，交给 critic 打分，也交给 agent 学习。
agent 变得更聪明，再次部署到物理世界，产生更多数据，飞轮因此加速。
但飞轮会朝任何方向转，也可能原地打转。要让它朝想要的方向转，就需要用指标来引导。
07｜Evals 才是竞争优势
模型本身只是入场券。评测和指标，才是更重要的战略护城河。
在造技术之前先造 eval，在造产品之前先造 eval 和 metrics。
如果不能定量定义什么叫「够好」，那就不是在造产品，而是在围绕 demo 迭代。
现在最好的模型架构已经相当清楚，新想法也会很快扩散。数据当然重要，但没有好的指标，团队就是在盲飞。
没有指标，就无法知道哪些数据最好，也无法评估改动数据后得到了多少回报。
因此，eval 和 metrics 是整个系统的地基，它们决定技术栈往哪里走。
物理 AI 的评估还不能停在模型层。
把 agent 放进物理世界后，评估和验证必须更深、更广：既要看物理层，也要看车载运行的行为层，还要看车外的组件和周围的运营流程。
Waymo 把这套系统叫作 safety and readiness framework，也就是安全与就绪框架。团队花了多年建立和打磨它，用它指导开发、部署和规模化。
Dolgov 把它视为 Waymo 最重要的资产之一。
因为在物理世界里，信任就是一切。
评估和指标，是获得信任的方式。不能只靠讲聪明的技术方案、最先进的模型架构，或者一场炫目的 demo 来赢得信任。
信任要靠每天在现场反复证明系统安全、系统有效，慢慢积累。
而且不能只在办公室里向自己证明。Waymo 公开发布安全数据和持续的安全研究，正是因为团队需要让外部世界也能检查这些结论。
这种 earned trust 最后会变成商业优势。模型可能泄露，算法可能被复制；但数亿英里的真实全自动运营、证据级别的评估，以及公开审计过的证明，要难复制得多。
七课合在一起，才是一套产品方法
这七课没有哪一课可以单独工作。
「9」先决定产品门槛，再逼着团队选对技术和技术路线，避免卡在局部最优。
对结构的有意识使用，以及反复乘上技术创新浪潮，帮助团队抵达所需的 9。
agent、模拟器和 critic 组成的 AI 系统，再由 eval 和 metrics 引导，才能形成真正有力的飞轮。
这些效果会相互叠加。
Waymo 之所以能够获得明显超越人类的安全表现，靠的不是一项孤立技术，而是多年反复打磨的整套 playbook。
Dolgov 随后回到最新安全数据：样本基于超过 2.2 亿英里的全自动驾驶里程。在 Waymo 运营的区域，Waymo Driver 在造成严重伤害的碰撞上约比人类司机好 17 倍。
这个数字之所以重要，是因为世界上某个地方大约每 26 秒就有一人死于道路事故。
按当前规模，Waymo 相当于每 8 天避免一次严重伤害。
这不只是仪表盘上的一个指标。它意味着有人在一天结束时，能够安全无伤地走进家门。
这些只是物理 AI 早期的安全收益，未来还会继续增长。
最后一句：下一轮 AI 进入物理世界
Dolgov 认为，今天的物理 AI，处在几年前数字 AI 所在的位置。
需要的条件已经逐渐齐备：生成式世界模型、模型架构、负担得起的计算和传感器、已经被验证的 scaling law，以及一个能够规模化运行的真实产品。
过去十年的 AI 发生在数字世界里。
他判断，未来十年也会发生在物理世界里。
对决定进入这个领域的人，他的建议是：祝你好运，玩得开心，但要记住你在为谁建造。
使命和客户才是重点。脱离这两件事，技术只是一项科学实验。
技术很令人兴奋，但没有什么比真正改变人们的生活更有满足感。
逐句全文翻译
以下内容依据 Root Access 发布的完整英文逐字稿，按原始发言顺序翻译，只保留中文译文，不保留英文原文。原稿是 Dmitri Dolgov 在 Startup School 2026 的连续演讲，没有主持人与嘉宾的来回对话，因此不额外添加不存在的对话标签。时间戳按原稿页面章节保留，便于回听。1
00:07 — 七条经验
大家下午好，很高兴来到这里。
我们经常谈论生活在屏幕上的 AI，生活在数字世界里的 AI。今天，我想谈一种不同的 AI：我们在 Waymo 构建的、生活在真实物理世界里的 AI。
顺便问一下，在座有多少人坐过 Waymo？请举手。
哇，好吧，这很了不起，尤其是考虑到我知道你们当中很多人是从外地来的。
如果你们是来访者，还没有机会体验 Waymo，希望你们在这里待着的时候，可以在湾区试一试。
既然这里是 Startup School，我把这次演讲安排成一连串课程：这是我们这些年在 Waymo 学到的七条经验，主题是如何构建并安全交付今天物理世界里最成熟的 AI 应用，也就是 Waymo Driver。
02:21 — 为什么物理 AI 不一样
我先放一段短视频。
这是我最近和孩子一起乘坐 Waymo 时拍到的一段画面。
你们可以看到，我们正在向前行驶，穿过一个十字路口；这时，几名人类司机决定直接插到我们前面。
Waymo Driver 做出了安全、平稳的反应。
事实上，反应平稳到什么程度呢？我的孩子当时在后排忙自己的事情，甚至没有注意到发生了什么。
对我来说，这是一个非常有力量的时刻。
我从事这项技术和这个产品已经接近二十年了，而它刚刚完成了一件相当重要的事：它安全地行动了。
它保护了我的孩子。
它保护了所有人。
没有人注意到发生过什么。
我认为，这会成为物理 AI 的一个总体主题：最好的 AI 时刻，看起来往往像什么都没有发生。
只是任务被安全、平稳地完成了。
Waymo Driver 保持所有人安全的时刻，每天都在整个车队里发生。
现在，Waymo Driver 每周服务大约 50 万次出行，每周在美国 15 座城市行驶超过 400 万英里的全自动驾驶里程。
作为比较，这相当于普通美国司机一年的平均驾驶里程，在每周被重复完成了 300 多年。
Waymo Driver 达成了超越人类的安全记录。
那么，要在物理世界里大规模构建并部署一个 AI agent，到底需要什么？
硅谷有一句常见的口号：快速行动，把东西弄坏。
但当你面对的是原子而不是比特时，把东西弄坏显然不行。
所以你必须做的是：快速行动，安全交付。
这要困难得多。
你必须从第一天起就构建稳健的系统。
你必须构建 AI 模型，也必须构建训练方案，让安全成为地基，而不是事后补上的东西，不是一个附加模块。
顺便说，物理 AI 本身的问题，与数字 AI 的问题不同。
如果你在为物理世界构建 AI，就必须面对四个主要差距。
首先是错误代价差距。
如果语言模型、聊天机器人或 copilot 犯了错，通常代价是重新试一次。
在物理世界里，一个错误的代价可能以人的生命来衡量，而不是以 token 来衡量。
这里根本没有撤销和重试按钮。
第二是延迟差距。
通常，当你运行一个 VLM 或数字助手时，它可能需要几秒，有时甚至几分钟，才能给出答案。
高速行驶的汽车一秒钟大约前进 100 英尺，所以毫秒真的很重要。
你必须把所有推理、所有决策都放在车上完成，而车载计算还要适配车尾箱里的空间。
接下来是数据差距。
数字 AI 拥有互联网：这是人类迄今为止积累的、巨大而丰富的预标注知识与思想缓存。
物理世界没有一个数字化版本的互联网。
最后是验证差距。
在数字 AI 里，你经常可以先交付一个「足够好」的东西，让用户使用你的产品。
用户会找出边缘案例，这让你可以在第一天就以几乎无限的规模部署，然后从那里开始反复迭代，沿着质量曲线向上爬。
在物理 AI 里，情况不同。
由于错误代价很高，在部署第一台机器人、驾驶第一英里自动驾驶里程之前，你就必须在第一天达到很高的安全水平和很高的置信度。
与此同时，物理 AI agent 真正出现在现实世界里的经历，本身又极其宝贵，也无法替代。
这些系统不能只在实验室里构建、做到完美，然后一夜之间全规模部署。
考虑到这两个因素，你必须极其清楚、极其准确地定义 agent 的运行条件和部署参数，然后构建一个严格的框架来指导部署，让系统以负责任的方式规模化。
这绝对是关键。
你就是这样赢得客户、社区、监管者以及自己信任的。
在 Waymo，我们当然是在自动驾驶的语境下看到这些差距，但它们也会以某种形式出现在几乎所有非平凡的物理 agent 上。
驾驶只是第一个让 AI 以规模化方式跨过这四道差距、并让公众直接与产品互动的领域。
所以，我们进入这些年在 Waymo 解决这个问题时学到的经验，看看我们怎样处理这些差距。
这次演讲有七条经验。
它们都是技术经验。
构建公司和产品还有很多别的事情，但今天我只聚焦于构建物理世界 AI 的技术层面。
我认为，这七条经验中的每一条单独看都不会特别惊天动地。
其中很多内容，你们可能已经在别处听过。
但我希望，这些经验来自我们真实部署物理 agent、让它安全规模化的经历，其中的具体落地方式和细节，能对你们这些正在构建产品、构建创业公司的人有用。
06:52 — 第一课：Demo 与产品之间的鸿沟
我们进入第一课。
第一课讲的是 demo 和真实产品之间那种巨大、令人沮丧、有时甚至让人灵魂被榨干的差异。
一个能工作的 demo，最多只占你必须完成的工作量的 1%。
后面那一串性能和可靠性的 9，才是真正的工作。
如果你是现场的创始人，你很可能正专注于让第一个原型、第一个 demo 运转起来。
当你让一个系统的第一个版本真正工作起来，当 demo 真的成功时，那种感觉非常惊人。
你会觉得自己解决了问题，天空才是极限，然后开始把未来不断向前外推。
在我们的领域，大约在 2010 年，我们达到了第一个里程碑，也就是第一个 90%。
这个项目始于 2009 年。
在开始构建系统之前，我们给自己定了几个相当有野心的目标。
第一个目标，是在自动模式下行驶 10 万英里。
第二个目标，是行驶 10 条路线，每条路线 100 英里，路线要覆盖湾区的各种条件。
每一条路线都必须从头到尾完成，而且不需要人工干预。
当时我们大约有十几名工程师，用一年半左右完成了这两个目标。
请注意，那远在任何 AI 突破之前，早于 ConvNet、Transformer、VLM，早于我们今天谈论的所有这些东西。
但我们做到了。
按照 demo 的标准，自动驾驶在 2010 年已经解决了。
我们什么都能处理。
我们可以白天开车，也可以夜间开车。
我们能处理交通、行人、自行车、红绿灯和施工区。
我们能在高速公路和地面道路上行驶。
所以我们当时已经「能力完备」。
那时我们觉得自己站在世界之巅。
但当我们开始把它建设成产品时，很快就撞上一个残酷现实：偶尔完成某件事，或者一次性驾驶 10 条路线，与构建一项没有人坐在方向盘后的可规模化服务之间，有着巨大的差异。
我们又花了大约 10 年，才开始提供服务；然后又花了 5 年，才扩展到每周 50 万次出行。
Demo 花了 18 个月，产品花了大约 15 年，但现在我们正在指数级扩张。
截至目前，我们已经服务了远超 2000 万次全自动驾驶出行，也行驶了远超 2 亿英里的全自动驾驶里程。
我们的无人乘客车辆正在美国 15 座城市运行，我们正在指数级扩张。
第一个 1 亿英里用了 15 年，下一个 1 亿英里用了大约 7 个月。
从开始最初的只载乘客运营，到在四座城市为乘客提供服务，我们花了大约 8 年。
今年早些时候，我们在一天之内推出了四座城市。
为什么从 demo 跨到产品要这么久？
因为有一个你无法真正绕过的严酷工程现实：可靠性和性能生活在一条指数级的 9 的阶梯上。
做到第一个 90% 或 99% 是容易的部分，但你想增加的每一个下一个 9，都需要大约 10 倍的努力。
你必须提前准确知道自己的产品到底需要多少个 9。
Demo 可能只需要一个 9，辅助产品或 copilot 可能需要几个 9；但一个要被放进物理世界、和公众互动、面对到处奔跑的孩子的完全自动驾驶 AI agent，需要整叠的 9。
规模起来之后，长尾就是问题空间，也是你的完整问题陈述。
当你每周驾驶数百万英里时，一个可能每百万英里才发生一次的稀有事件，就会变成每天的现实。
要得到后面的那些 9，每一次都意味着做不同的事。
你不能只是把达到前两个 9 的做法重复更久，就达到性能或可靠性的六个 9。
每次都必须做根本不同的事情。
这要求一种根本不同的方法。
以可靠性为例，最初几个 9 可以通过良好工程和修复一些 bug 得到。
但要达到后面几个 9，就必须投入根本不同的方法。
你需要构建完全冗余的系统，需要分层的故障回退架构，等等。
AI 模型的性能也是一样。
这意味着，在这个领域，开始非常容易，但达到真正的产品可能极其痛苦。
每一轮技术突破都会放大这种效果，也自然会带来 hype cycle。
每一项 AI 突破——从深度学习到 ConvNet，再到 Transformer、VLM，随便你说——都会让开始变得容易得多。
你的 demo 和原型可能因此变得简单 100 倍。
但困难问题所在的尾部移动得少得多。
它确实会移动，但作用被削弱了。
所以每一轮 hype cycle 都会制造一波绝对精彩的 demo，却只有很少真正的产品。
每一轮都重复出现的错误，是把本该留给那些 9 的资源，花在了 demo 上。
不过，既然这是 Startup School，我最不想做的事就是给创业早期的魔力和兴奋泼太多冷水。
那段时间确实神奇，确实令人惊叹。
请珍惜它，也利用它。
但关键是，要诚实面对自己正在构建的产品，以及它对性能和可靠性需要多少个 9，不要为了抵达那里而走捷径。
否则，之后可能会迎来一次相当粗暴的现实教育。
所以，在计算 demo 播放量之前，先数清楚你的 9。
这就把我们带到第二课：一旦知道产品实际需要多少个 9，它就会从根本上决定你需要采用的架构和核心技术方法。
14:17 — 第二课：选择正确的技术曲线
每项技术都有一条性能与努力之间的曲线。
它们通常一开始上升得很陡，然后逐渐变平。
正如我刚才说的，每多一个 9，难度就增加一个数量级。
一个常见的失败模式，是选中能让你前期上升最快的技术，沿着那条陡峭曲线前进，觉得自己赢了，把那条陡坡投射到未来，觉得天空才是极限，随后撞上平台，发现你选择的技术路线，远在产品要求的性能之前就变平了。
出于各种实际原因，你可能仍然会暂时站在那条陡坡上。
也许你想做原型、做 demo，或者为了学习而构建某个东西。
但要对自己诚实：你是在为 demo 构建，为学习构建，还是在朝着真实产品构建？
我们以自动驾驶和感知为例。
关于自动驾驶到底需要什么传感器，行业长期存在争论。
自然，传感器越多，性能越高，但成本和复杂度也越高。
人类当然只靠眼睛就能开车，所以这可以被看作一种存在性证明。
但如果目标只是大致匹配人类表现，或者构建一个辅助产品，只用眼睛对应的感知路线就很合理。
可是，如果目标是完全自动驾驶，是明显超越人类、强超人类的性能，你会发现，弱感知会导致安全曲线过早变平。
在 Waymo，我们采取了使用多种感知模态的方法。
我们使用摄像头、LiDAR 和雷达，它们彼此补充。
摄像头提供高分辨率和颜色，但它是被动的，在黑暗和眩光中会退化。
LiDAR 直接测量周围世界的三维结构。
雷达非常擅长穿透雾、雨、雪等环境和天气条件，还可以通过多普勒效应直接测量速度。
LiDAR 和雷达是主动传感器，所以在漆黑的环境中，或者车辆驶向刺眼夕阳的时候，它们仍然可以同样看清。
这些不同的感知模态并不只是彼此的备份。
在我们的技术栈里，每种模态都有一个编码器，所有传感器的信息会被融合成周围世界的单一视图。
这个视图比任何单一传感器提供的结果都更精确，通常也大幅更好。
我给大家看几个例子。
这里是一辆 Waymo 在凤凰城沙尘暴中行驶的场景。
你现在看到的，是我们的高分辨率、高动态范围摄像头在这种条件下看到的画面。
它和人在相同条件下看到的非常接近，也就是几乎什么都看不到。
右侧是完全同一帧画面里的 LiDAR 视图，你能更清楚地看到路边站着一名行人。
如果行人走上道路，提前发现会对局面怎样发展、以及所有人的安全产生非常大的影响。
这是另一个例子。
夜间行驶时，有两名行人正要翻过混凝土施工隔离带走上道路。
再次看底部的摄像头画面，它真的看不到多少东西。
上面是 LiDAR 的画面。
还是 LiDAR 与摄像头的对比。
还有另一个例子：两只狗在追一个球，几个孩子在追那两只狗。
差异很大。
这是摄像头看到的样子。
这是 LiDAR 看到的样子。
LiDAR 早早发现了侧面的孩子，现场没有车灯，也没有路灯，完全是一片黑暗。
所以它会带来很大差异。
再想想传感器的视线被实物挡住时会发生什么。
如果感知没有冗余，单独一片叶子落到传感器上，就可能让机器人完全停住。
所以你需要冗余。
当然，冗余不一定意味着多种感知模态。
但如果你无论如何都需要冗余，那么在正常情况下，也不妨利用不同感知模态彼此互补的物理特性。
这里有一段视频：我们的一辆车捡到了一片叶子——或者我想其实是一整根树枝——雨刷没能把它甩掉。
车辆识别出了这一点。
因为有感知冗余，它能够安全回到车库，进行适当清理。
具体到硬件，不要锚定今天的零部件价格。
我们现在已经是 Waymo Driver 的第六代硬件套件。
每一代硬件不仅带来了惊人的能力，我们还能够大幅简化硬件，并从根本上降低成本。
所以，把你的公司、把你的方法押在今天的硬件价格上，就等于把公司押在一个保质期很短、即将过期的数字上。
硬件会变化。
许多组件会商品化并降价。
所以要为那个未来设计，并做好升级准备。
21:07 — 第三课：乘上每一轮技术浪潮
这把我们带到第三课。
技术移动得极快，尤其是现在。
所以你必须准备好乘上那些技术浪潮，而且要反复这样做。
在这个过程中，你不能只思考性能和能力的收益，还必须非常关注统一和简化。
这些年来，我们看到过许多重大的技术突破，其中很多发生在 AI 周围。
每一轮创新浪潮到来时，我们基本上都会围绕那一轮重要的 AI 突破重建 Waymo Driver。
我们经常也会亲自推动相关领域的技术前沿。
大约在 2013 年，我们利用卷积网络推进计算机视觉和感知。
大约在 2017 年 Transformer 出现后，我们在感知、行为预测、决策和规划任务上都重注 Transformer。
结果表明，驾驶任务和语言建模任务并没有那么不同，因为驾驶具有社会属性。
你正在和世界中其他动态参与者进行对话，只不过你的 agent 使用的是车辆的身体语言，而不是文字语言。
你处理的是序列。
局部连续性重要，但全局上下文也重要。
今天，我们正在使用最新的 VLM 和前沿世界模型。
现在，利用最新技术获得能力和性能提升——我不想说它容易，但相对可以直接地做到。
孤立地做应用研究，或者成立一个 tiger team 去验证新技术，并不是最困难的部分。
很多公司、很多团队都非常擅长这件事。
真正难练的肌肉，是把前沿研究带入生产环境，在安全关键的环境里部署它，同时不发生回归，也不打断产品规模化的步伐。
再次强调，增加能力不是最难的部分；在增加能力的同时减少碎片化、减少复杂度，才真正重要。
最后，公司最难练出的能力，是通过多轮技术创新与技术突破，反复做到这一点。
关于这一点，我有两条建议。
第一，当新技术出现时，它可能令人兴奋，也很诱人，让你马上成立一个 tiger team 去追它。
你当然应该这样做。
但在做的时候，有一件事非常重要：你要考虑成功之后怎么办。
假设这项努力成功了，你必须非常清楚这项新创新在公司、在整个产品、在整个系统里的下一步路径。
我经常看到一种失败模式：一个非常困难的技术项目成功了，接下来却无路可走。
这可能极其浪费，也可能让人完全泄气。
我的第二条建议是：追逐新技术时，不要只问它会在能力和性能上给我什么。
也要问，它是否简化了我的技术栈？
它带来的是碎片化，还是统一？
你的发布门槛应该同时要求突破性的性能，以及激进的简化和统一。
这些年来我们在 Waymo 建立的这套理念和肌肉，产生了我们最新的核心技术。
它的核心是 Waymo Foundation Model。
Waymo Foundation Model 是一个多模态、世界、动作、语言模型。
这个名字有点长，所以我来拆解它的构成。
它是多模态模型，因为它能处理多模态传感器输入：摄像头、LiDAR 和雷达。
它是世界模型，因为它内在理解世界如何运作：物理、动力学，以及社会和语义层面。
它是动作模型，因为我们不只是被动观察世界如何变化，我们还是主动参与者。
因此，模型需要理解 agent 的动作会怎样影响世界，并且能够区分好的动作和坏的动作。
最后，它与语言对齐。
这样，我们就能从视觉语言模型中解锁一般性的世界知识。
这对长尾中的罕见语义场景非常有用。
更具体地说，架构大致是这样。
它是典型的 encoder-decoder 架构。
编码器接收多模态感知，把它们压缩或编码成一种高效表示，同时保留生成部分，也就是 decoder 所需要的全部相关数据和信息。
这是一个端到端模型，这带来几个很好的性质。
它让我们可以把实际关心任务的梯度，有效地一路反向传播到模型早期层。
它让编码器为生成部分所要解决的任务，学习到正确而丰富的表示。
它使用 system one、system two，也就是「快思考、慢思考」的架构，还利用 VLM 的一般世界知识来高效学习语义任务。
我们再深入一点。
先说快路径。
这条路径融合摄像头、LiDAR、雷达的原始数据，因此能够做出瞬间的安全关键决策。
你可以把它看成车辆的驾驶直觉。
比如行人突然跑上道路，或附近自行车突然转入你的路径，它能让车辆立即刹车。
如果可以这样说，它是 agent 的蜥蜴脑，处理大量几何任务，并在毫秒内做出反应。
第二条是慢路径。
它负责更复杂的语义和场景级理解任务。
这些任务通常不会在毫秒级发生变化，所以可以承受一点延迟，换取更强的能力和更高层次的推理。
比如，Waymo Driver 遇到路边有一辆着火的车。
快路径可能只把它看作普通障碍物，并推理出前方几何路径是畅通的。
这时就需要慢路径。
慢路径可以通过深层语义推理理解这个物体的语义——这是一辆正在着火的车——以及它在更大场景里的意义。
即使前方在几何上是畅通的，这也会让车辆采取完全不同的动作，或者选择一条完全不同的路线。
最后是生成组件，也就是 decoder。
它理解并产生行为。
它理解其他参与者会怎样行动，因此可以预测并规划我们自己的驾驶决策。
Waymo Foundation Model 驱动的 Waymo Driver，可以运行在不同代际的硬件和不同车型上。
目前有第五代和第六代硬件、Jaguar I-PACE、Ojai 和 Hyundai Ioniq。
未来，它会驱动不同产品和不同商业应用，例如卡车和私人拥有的车辆。
通过把重点放在高容量的前向基础模型上，我们能够把大量复杂度上移到这个大型共享基础上。
这让运行在车上的专用层变得相当轻量。
反过来，这又能加快开发过程。
所以，这一课最重要的肌肉，是让公司不只是利用当天的技术，而是建立一项能力：反复乘上技术浪潮，把创新结果带进生产环境，不发生回归，不打断部署和规模化，也不被复杂度淹没。
30:09 — 第四课：苦涩的教训仍然获胜
AI 社区有一个著名的经验：利用大规模计算和大规模数据的通用方法，总会胜过依赖手工设计、人工工程知识的方法。
这就是 Richard Sutton 在 2019 年发表并阐述的所谓「苦涩的教训」。
我们亲历了这一点，也在每一轮技术突破中看到了它。
每一次，苦涩的教训都成立：最能随计算和数据规模化的方法，最终总会赢。
顺便说，这也是我们押注构建 Foundation Model 的原因之一。
如果你押注一个高容量模型，把数据和计算用在上面，你会得到更好的 scaling law，然后把它蒸馏到实时运行在 agent 上的、更小、更高效的模型里。
与其直接专注于小模型，你会得到更好的 scaling law。
这条经验有一个微妙的部分，就是模型里的结构怎么用。
根据结构的用法不同，你可能站在苦涩教训的任何一侧。
基本上，阻碍规模化的结构总会输，能够引导规模化的结构总会赢。
这尤其会出现在人们讨论端到端模型时。
正如我刚才提到的，端到端模型有一些很好的性质。
你可以把最终任务的梯度一路反向传播穿过模型，也让编码器和解码器之间的 API 使用丰富的学习表示。
这些模型最容易构建和训练。
架构是已知的。
你可以从模仿学习开始，黑盒端到端模型会带来非常快的进展，让你沿着早期最陡的曲线前进。
对某些产品来说，这就够了。
但如果你需要让安全关键环境中的全自动 agent 达到超越人类的表现，只做这种基础的、原始的端到端模型还不够。
这就是结构发挥作用的地方。
关键问题是：结构是在提高规模化能力，还是在对抗它？
它是在限制、约束解空间，还是让你可以在不牺牲通用性的情况下规模化？
我举个例子。
我们做一个简单的思想练习，一个玩具问题。
假设你正在构建一个要玩围棋的机器人。
你希望它在物理世界里下棋。
你有一台摄像头观察棋盘，还有一个执行器真正把棋子移动到棋盘上。
一种构建方式，是让一个端到端系统直接从像素走到动作。
你也许可以给它一些人类下棋的视频来训练。
这会是一个非常有意思的研究练习。
但如果你的目标是构建世界上最强的围棋机器人，那可能不是最高效的方法。
原因在于，这个游戏有一个非常简单的中间表示，可以完全表达游戏状态，也就是你要解决的任务状态。
它是一个 19×19 的棋盘。
至少在下棋这个任务里，它给你一个完全可观察、完整的世界状态。
利用这个结构并不会限制模型。
它不会约束解空间，却给你提供了一个非常有用的规模化方式。
当然，那只是一个玩具例子。
你要部署到物理世界的任何非平凡任务，都不会拥有这样简单的性质。
现实世界不存在这样简单、干净的工程化表示，正因为如此，我们才需要端到端系统、学习表示和学习嵌入。
但物理世界里确实存在结构。
有物理定律，有道路规则，有行为相当可预测的物体。
你可以把这些结构与学习表示结合起来，提升性能、简化验证，最终得到更好的 scaling law。
这就是 Waymo 正在采用的方法，我们称之为 structure-augmented end-to-end，也就是结构增强的端到端。
我们在基础端到端之上继续推进，用已经物化的结构化表示增强学习到的嵌入。
这带来几个重要优势。
第一，是推理时验证。
因为模型不再只是一个传感器输入、动作输出的黑盒，我们可以建立一个非常强的正确性和安全验证层，在 agent 部署到车辆上时实时运行。
对任何运行在物理世界里的 agent，这都非常重要。
第二，在生成部分，也就是 decoder 的大规模训练和评估上，我们可以获得很高的效率收益。
如果手里只有黑盒端到端系统，你就被迫把所有评估和训练都放到完整端到端设置里，从传感器一直做到决策和动作。
有了中间的结构化表示，你就可以灵活组合。
一部分训练可以在更大规模上做，一部分评估可以在紧凑的结构化表示空间里做，还有一部分可以在从传感器到决策的完整端到端空间里做。
最后，我们可以为评估和训练获得强而可验证的反馈信号，也可以获得支持强化学习等训练方案的训练信号。
这层额外的、物化的结构，会为评估、指标、损失函数设计和强化学习方案提供更强的工具。
所以，这一课的经验是：押注最大程度学习、最小程度约束的系统，并有意识地利用结构，在训练和评估中提升性能与规模化能力。
36:41 — 第五课：每个物理 AI 公司都需要模拟器
这就引出一个问题：你到底怎样训练和评估物理 AI agent？
要在物理世界里构建并安全部署一个 agent，拥有一个优秀的大规模、真实、高保真的模拟器绝对是关键。
训练和评估有两种方式：open loop 和 closed loop。
在 open loop 里，你被动观察输入到输出的配对。
你可以把它用于评估，也可以把它用于训练，模仿学习就是这样做的。
评估通常是：如果你发现自己处在这个场景里，你会怎么做？然后给出评分。
与此相对，在 closed loop 里，你采取一个动作，观察这个动作对世界产生的影响，再通过传感器更新你对世界的视图，然后采取另一个动作，如此循环。
你在这些动作序列和世界变化序列上进行评估和训练。
能够采取一个动作，然后评估那个动作会产生的反事实结果，对于构建和部署安全关键的物理 agent 绝对不可缺少。
真正的模拟器就是用来做这件事的。
真正的模拟器不只是放在 AI 旁边的一件轻量工具。
它本身就是一个大型 AI 模型。
构建一个好而真实的模拟器，与构建 agent 本身一样困难。
模拟器背后的 AI 必须理解世界如何运转：物理、语义、交通、天气等等。
模拟器的质量必须足够高，不能只是看起来像真的，还必须足以让团队有很高置信度地训练和评估一个准备被放入安全关键环境的 agent。
换句话说，你必须构建一个高度准确的生成式世界模型。
多年来，Waymo 一直在构建我们称作 behavioral world model 的东西。
那是在 world model 这个词流行之前很久，我们就已经在做了。
现在进入端到端模型时代，除了行为真实，还需要感知真实。
事实上，构建端到端模型已经相当容易了一段时间，但在 closed loop 中评估它，才是困难的部分。
所以，我们继续构建 sensing world model。
因为我们的模型使用结构增强表示，我们也能在模拟中利用这套结构。
我们的行为世界模型在结构化中间表示的空间中运行，紧密耦合的感知世界模型随后生成真实的传感器模拟。
我们的世界模型借助了 Google DeepMind Genie 3 的优秀工作，这让我们可以生成可控而高度真实的场景，同时覆盖行为和感知两方面。
这意味着，我们不只能在过去遇到过的场景里评估 agent、训练新版本的 agent，还能在现实中从未见过的纯合成稀有场景里训练和评估。
所以，你看到的不只是生成出来的视频。
这是 Waymo Driver 在 closed loop 中运行的生成式、完整生成模拟。
这里我们模拟的是：如果它在高速公路车道上遇到一辆停着的车，会发生什么。
你还可以更进一步。
这里可以模拟一架飞机在我们前方的高速公路上降落，也可以模拟一头逃脱的大象走过路口、金门大桥下雪，或者一只恐龙在路上行走。
这一课的经验是：closed-loop simulation 是评估物理 AI agent 的绝对必要条件，也极其适合训练物理 AI agent。
你需要高度真实、大规模的模拟来训练和评估。
41:36 — 第六课：构建 AI 飞轮
这就把我们带到第六课。
面对这么复杂的问题，你不能只造一个模型，然后就宣布完成。
你必须构建完整的生态系统，还需要一个推动它的飞轮。
要让这件事规模化，你不能只造 agent 和一个 AI，你需要造三个。
你在构建 agent。
对我们来说，那就是负责驾驶车辆的 Driver。
你还需要 simulator，也就是给 agent 学习用的虚拟游乐场。
然后你需要 critic。
critic 会严格评估和判断 agent 的表现，并告诉它如何改进。
好消息是，这三个系统的基础推理与生成能力是共享的。
所以在我们的案例中，它们都建立在同一个 foundation world model 上。
有了这三个支柱，你就可以创建一个极其强大的飞轮来加速进展。
agent 在真实世界中的部署会产生数据。
数据又会让模拟器扎根现实、变得更真实。
模拟器会为 critic 生成更困难的边缘案例，也为 agent 生成可学习的案例。
于是 agent 变得更聪明，被部署到物理世界，产生更多数据，这些数据又推动飞轮、加速进展。
但飞轮当然会向任何方向转，也可能原地转。
为了让它向你想要的方向转，你需要用指标引导它。
这就把我们带到最后一课：你的模型其实只是入场券，但 eval 和 metrics 才是最重要的东西，才是你的战略护城河。
43:22 — 第七课：Evals 是你的竞争优势
在你构建技术之前，先构建 eval。
在你构建产品之前，先构建 eval 和 metrics。
如果你不能用定量方式定义什么叫够好，那你其实没有在构建产品，只是在围绕 demo 迭代。
如今，最好的模型架构已经相当清楚，新想法也会很快扩散。
数据极其重要，但没有好的指标，你只是在盲飞。
你没有利用最好的数据，也无法真正评估对数据做改动的投资回报。
所以，eval 和 metrics 才是地基。
它们会引导整个技术栈。
但对物理 AI agent 来说，模型层面的评估还不够。
当你把一个 AI agent 放进物理世界，评估和验证需要更深入、更广泛。
你需要评估和验证系统的每个组件：从物理层，到在物理世界里车载运行的行为层，也包括车外组件和围绕它的所有运营流程。
对我们来说，这叫 safety and readiness framework。
我们花了多年构建和打磨它。
它指导我们的开发、部署和规模化。
我认为，这是我们最重要的资产之一。
它之所以重要，是因为在物理世界里，信任就是一切。
评估和指标，是你获得信任的方式。
你不能只靠谈论聪明的技术方案、模型最先进的架构，或者做一场炫目的 demo 来赢得信任。
你要在现场一天又一天地证明系统安全、系统有效，持续证明，才能逐渐赢得信任。
当然，你不能只在办公室里向自己证明。
这正是我们公开发布安全数据和持续安全研究的原因。
这种 earned trust 最终会成为你的终极商业优势。
你的模型可能泄露。
算法可能被复制。
但数亿英里的真实全自动运营，再加上证据级评估和公开审计的证明，要难复制得多得多。
46:09 — Waymo 如何达到比人类司机安全 17 倍
当你把整套 playbook 拉远来看，会发现这些经验没有哪一条能独立工作。
那些 9 先设定了你的门槛，确保你选择正确的技术和正确的技术路线，不会卡在局部最优上。
随后，对结构的有意识使用，以及乘上技术创新浪潮的能力，帮助你抵达正确的 9。
agent、模拟器和 critic 组成的 AI 生态系统，再由评估和指标引导，让你构建出强大的飞轮。
这就是这些效果如何相互叠加的方式。
正是这套我们多年来一直打磨的 playbook，让我们获得了 Waymo Driver 明显超越人类的安全表现。
这是我们最新发布的安全数据快照。
它基于超过 2.2 亿英里的全自动驾驶里程。
我们看到，在运营区域里，当涉及造成严重伤害的碰撞时，Waymo Driver 大约比人类司机好 17 倍。
这非常重要，因为今天，在世界某个地方，每 26 秒就有一人因道路事故失去生命。
按当前规模计算，这意味着 Waymo 每 8 天避免一次严重伤害。
这不只是仪表盘上的一个指标。
这意味着某个人的爱人可以在一天结束时安全、没有受伤地走进家门。
这些只是物理世界 AI 的早期安全收益，未来还会继续增长。
如果把视野放大，机会绝对巨大。
47:59 — AI 的下一个十年属于物理世界
现在的物理 AI，处在几年前数字 AI 所处的位置。
我们已经具备了追逐这件事所需的条件。
我们有生成式世界模型，有模型架构，有负担得起的计算和传感器。
我们有已经被验证的 scaling law，也有一个正在规模化运行的真实产品。
过去十年的 AI 发生在数字世界里。
我认为，下一个十年也会发生在物理世界里。
如果你们当中有人决定在这个领域构建东西，祝你好运，玩得开心，也请记住你是在为谁构建。
你的使命和你的客户才是重要的。
否则，技术只是一项科学实验。
归根结底，技术再令人兴奋、再让人心潮澎湃，也没有什么能超过真正改变人们生活的喜悦。
References
- 1Root Access 完整逐字稿
ycrootaccess.com
- 2Startup School 2026 官方视频
youtu.be
- 3Waymo 官方公司页面
waymo.com
Comments