逐段要点整理
下面按本期音频的实际推进顺序，逐段整理两位出场者在这一期里讲到的论点、数字、案例与金句。本期出场两人：主持内森·拉本茨（The Cognitive Revolution 主持人）、嘉宾基尔塔娜·戈帕拉克里希南（Google DeepMind 资深研究科学家、Gemini Robotics 研究负责人）。章节时间点取自节目官方章节表；两段纯广告口播未计入。所有出自本期对话的判断都标了出处时间，涉及公司公开口径与第三方记录的部分另附来源。12
00:00 本期简介：机器人什么时候真的有用
- 内森在片头把这期的问题定得很清楚：AI 已经在以重大方式影响世界，哪怕只是纯数字形态；但对 AI 未来最科幻的预测认为机器人会很快撞上临界点——他举了《AI 2027》，那份预测说人形机器人在 2027 年中期变得有用，到 2028 年可能出现一个「机器人经济」，机器人建工厂、工厂造更多机器人，并因此带来严重的 AI 夺权风险。
- 他的提问方式是：这幅图景和今天机器人研究的现实对得上吗？这一期的答案给得比较克制。
- 主线是今夏发布的 Gemini Robotics 2——一套三个模型。ER 2 被基尔塔娜称为机器人控制的「系统二」，基于 Gemini Flash，通过 API 提供，开发者可以像给数字智能体定义工具那样，把机器人可用的能力定义成工具；另外两个模型把更高层的工具调用翻成动作，能控制从指尖到脚底的整台机器人，但目前只对受信任的测试者开放。3
- 一个被反复回到的结论：基尔塔娜说机器人仍然处在它的「GPT-2 时代」，理由不是指令跟随没到，而是跨本体——一个只在一台特定机器人上跑得通的策略，还不算一个通用大脑。
04:22 中国的人形机器人运动会，与仿真能训什么
- 开场话题是今夏在中国举行的机器人运动会。基尔塔娜说她自己一开始没看，是她父亲先说起，然后她才看到那些机器人跑步、以及跑步途中起火的视频。她的判断是：从研究角度看这并不让人意外，但它确实非常有冲击力地抓住了公众想象，而且它像一把标尺——用跑步当基准，看看人类在哪、机器人在哪。她还提到有人把 DARPA 挑战赛的旧画面和今天拼在一起对比：那时机器人只能走一走、开开门，然后真的摔倒。
- 关于「跑得比博尔特快」，她的定位很明确：运动控制是仿真能带来巨大差别的领域，这些模型很多是在仿真里训的，所以运动控制走得相当远；但这不解决机器人能提供什么价值。她的原话大意是：我是个很有产出的人，我很多朋友也都在很有产出的岗位上，但我们跑不过尤塞恩·博尔特。她还补了一句适用范围——也许某些国防应用里它有用，但她所在的团队关注的是让机器人在物理世界里做有用的事。4
- 内森从另一个方向问同一个问题：视频里机器人在冲刺时撞上墙、摔成碎片，说明它们不可能一直那样训练，因为很快就会没有实体机器人可训；所以显然大量训练在仿真里。他请她解释为什么这类任务适合仿真，而哪些任务至今仍难在仿真里训。
- 她的回答是「仿真到现实」这条缝：运动控制面对的是平坦地面和刚性身体，物理容易建模，所以先在仿真里被解决；操作面对的是接触本身，布料、摩擦、形变让当前仿真开始失真。她给的口径很干脆——物理越容易建模的地方，仿真就进得去。她也指出，即便在仿真里，很多抓放仍然能做得相当好，因为那里的接触动力学还算可预测。
- 关于那台会跑的机器人里装了什么，她没有参与那些演示，只能推测：很可能是从动作模仿训练、再用针对「跑得特别快」的强化学习微调的控制器，加上一点导航，而且没有语义大脑。她自己也说，跑一场比赛本身相当容易。
11:11 泛化与精通是两条轴；机器人还是 GPT-2
- 内森问她，今天有没有什么事情她会真的交给机器人做。她的回答暴露了她作为研究者的位置：如果机器人在某件事上赢了，她就会去做机器人还做不到的事——前沿在移动。她回忆刚开始做操作时连抓放都很难，因为算法不对；基础模型来了之后这类事变得容易，前沿就挪到了人形机器人和手。
- 她点出这次发布里新的是什么：整身控制与整身操作，尤其是带泛化的整身操作。不只是跑得快，而是能迈步、能下蹲，并在这个过程中以闭环方式操作物体，同时对不同种类的物体做泛化和推理。她说，一年前如果告诉她现在能做到这个，她会有点意外。
- 她给了一套方法论：泛化和精通是两条多少正交的轴。窄 AI 能在一两件事上立刻很强，但做第 n 件事的成本和做第一件事完全一样；通用底座是把水位整体抬高，先有广谱能力，再往上爬到精通。她说同一套逻辑在 LLM 上已经出现过。1
- 内森把 METR 那条任务长度曲线搬过来，加了一个物理世界的修正：语言模型 50% 成功率可以用，机器人掉了个东西，它碎了。他请她把「能真正部署」的门槛按任务难度分档。
- 她的分档是：很多抓放已经接近拿到很好的信号、接近部署；可重试的任务容易得多（拼乐高错了可以回去修），不可重试的任务容错空间立刻变小（蛋敲开掉在地上，你就有一摊烂摊子）。她特别提到煎蛋这件事——你可以把蛋煎过头，而没人喜欢那样。
- 关于「少样本/单样本泛化」的演示，她把它放回一个谱系：语言提示、图像提示（在想操作的东西上画个圈）、视频提示，本质是同一个问题的不同形态。但真正要问两件事——换了场景它还能不能适应，以及你提示的那个任务有多难。抓放有大量数据、也好理解；系垃圾袋这样的任务还早。
- 她给这个领域的评分：还是 GPT-2。理由是 GPT-3 的两个条件今天一个都不满足——少样本学习要在很多不同测试上都真的好用，以及机器人仍然非常受制于跨本体。她的类比是：GPT 从来没有这个问题，手机、Mac、Linux 在哪儿跑都差不多；但机器人非常受制于你作用于哪台机器。
21:22–40:00 Gemini Robotics 2 的架构：三个模型、延迟与落地顺序
- 基尔塔娜给三个模型的分工：Gemini Robotics ER 2 是「系统二」大脑，能做非常通用的推理，基于 Flash 那一系列但更针对机器人调优，可以查询做通用图像、视频与语义理解；Gemini Robotics 2 是负责控制动作的 VLA；On-Device 2 是能装进机器人本机的小版本。3
- 内森自己做了一个 2D 小演示：因为模型在 API 里，他让编码智能体把它接进浏览器画布，并给它暴露工具。他量到从「把香蕉移到盘子上」这个提示到工具调用大约六秒，并直言这在真实世界里看起来太久了。
- 她的回答是这完全取决于应用：流水线上不能磨蹭，必须做得非常快；但在家里让人机器人叠衣服，她不在乎多快，只在乎叠得多好，她可以等。她还预期规模分层会照搬过来——Flash、Pro 那一套在机器人里也会存在，快的和慢的同时做，再蒸馏成一个；她也提醒，即便是 Flash 模型也仍跑在云端，需要很好的网络连接，而机器人部署可能是非常分布式的。
- 关于落地顺序，她坚持商业场景先落地：更可控，家庭更复杂、无法施加控制，而且考虑到有幼儿，安全门槛更高。但内森提出的反转是站得住的：如果慢模型上不了流水线，它也许反而先够用在家务上——工厂要的是节拍，家里要的是夜里有人把事做完。
- 内森把他的小演示与 Gemini 3.5 Flash 做了对比，结果两者表现基本一样，因为任务太简单。她说的真正差别在机器人用例的专项上：仪表读数、检测、大量的指点，以及和 Gemini 主线的数据回流。她把这两者说成协作而不是竞争——即使 Gemini 本身更通用，具体机器人用例仍然可以再训出稍微更好的专用模型。
- 上下文窗口是 128,000 token。她换算：大约相当于三分钟的记忆，取决于怎么分词、表示多少 token、以及还给了什么别的信息。她也指出真实限制与出路——眼下 ER 装不下机器人做很多事的一段很长过程，那是 Pro 模型更合适的离线分析场景；而她给的做法接近人脑：久远的、低相关的东西压成文本摘要，而不是把每一帧都留在高密度模态里。3
- 关于为什么是 ER 先通过 API 放开，她的解释是能力成熟度：ER 更接近 Gemini 本身，动作模型更靠前沿之外，还有很多研究要做。她也说了一个没料到的结果——把 ER 放到 AI Studio 之后，用量规模远超他们在受信任测试伙伴那里深挖所得到的信息量。
- 她意外的是学术界怎么用它：做基准、把它当 VLA，甚至开始试低层控制。她点了一个演示：波士顿动力的 Spot 走来走去读仪表、顺手分发零食。5
- 关于 ER 怎么指挥 VLA，她给这个工作领域起了名字：可操控性。VLA 目前可以用语言操控，也可以被指向物体；ER 用的是你能够操控 VLA 的那些模式——不是「把像素位置写进去」那种 API。她强调底线是带宽：如果 ER 和 VLA 之间只有文本，很多东西会在中间丢掉，所以这个接触面要随着时间变得更丰富。
- 她也说了现在最脆的一处：机器人之间 API 差别巨大、也没有标准，模型也不是协议等价的，所以把它铺得很广会遇到麻烦；当下仍成立的一条是，特定机器人的专用基础模型效果更好——尽管更大的通用大脑在编排上已经很能打。她把这一段明确标注为推测。
48:28 全身控制，与失败落在哪一层
- 内森问「整身控制」到底指什么。她的回答是：以前的模型只控制上半身做桌面任务；这次 VLA 控制整个人形，从指尖到脚底，前提是把「身体是什么样」和「环境是什么样」两组信息一起推理。她拿那场机器人比赛做对比：那里肯定有能控制身体的控制器，但如果低层控制器没有语义大脑，它没法保证完成人要的任务。3
- 内森追问稳定化通常要跑在很高的周期率上，一个后训练的 VLM 大概跑不到那个频率。她说这里的做法是：VLA 控制整个身体，但关于怎么稳定、怎么达成上一层目标，还有更多决策在被做出。
- 关于失败落在哪一层，她说这个 VLA 是和伙伴一起造的——Apptronik、Agile Robots、波士顿动力，用的是「我们和它们一起构建」这个说法。她也承认机器人有本体问题：拿一个全新本体、完全零样本地做到很多任务都非常可靠，没有很强的先例。
- 失败的另一个来源被她说得比预期更重：一是延迟，一个模型在做，另一个同时在判断「做完了没、下一步怎么切」；二是误差复合，十步任务、ER 有 x 的成功率、VLA 有 y 的成功率，串起来就是在把误差复合放大。
- 端侧模型是她最喜欢的一部分：给一个全新本体大约 200 个样本，就能在上面学会很多不同任务，因为底座已经有了通用的物理理解，以及跨多种本体该怎么控制的数据。3
57:03 手：夹爪与多指手的位置换了
- 内森问如果让机器人煎一个蛋，它通常能做到哪一步。她的回答先拆条件：专为煎蛋做可靠化，有算法能做到；但如果是一个从没见过煎蛋的通用模型、被带进你家，卡住的地方不是视觉——模型对光照和不同家庭的布置已经不那么敏感——是任务语义、上下文和容错空间。
- 她点出关键区别：允许重试的任务容易得多。拼乐高错了可以回去修；蛋敲开掉在地上就不行。
- 关于本体分布，她说受信任测试计划里到她手上最奇怪的本体是有人把机械臂装在无人机上；但总体分布像正态分布，双臂机械臂、手、人形机器人占据主体，奇怪的东西都在长尾。她的原则很简单：只要有数据，什么都能学会。
- 内森问她有没有见过可能在这个假期季会有需求的儿童 AI 机器人玩具。她的解释是市场被烧过一次：她上学时一批公司做桌面游戏机器人，人们出于新奇买，之后不再回去用；而那些机器人没有一个是机器学习驱动、也没和大模型连起来，现在情况已经很不一样。
- 关于手，她给了一条时间线：去年三月 Gemini Robotics 1 展示的是夹爪的灵巧性；今年夏天 Gemini Robotics 2 展示的是多指灵巧——系垃圾袋、对多指手做很精细的控制。中间只隔了一年零一个季度。她的内部模型也在这里被更新：夹爪当年能做、处在灵巧性前沿的任务，现在手式机器人也能做，手还能做夹爪做不到的事。她的结论是，手现在处在灵巧性的前沿，而夹爪也许不在。
- 她直接比较了两只用过的手：无极（Wuji）手大概像一个十岁孩子的力气；Sharpa 的手能举起大概 20 公斤，她见过它开罐子——很紧的那种她不确定。尺寸也是变量：Sharpa 的手比她的手大得多，无极手更接近人类尺寸。她的总结是硬件进步比她预期的快，但可靠性、可重复性和成本还有更多工作要做。
- 关于软体机器人，她的切法是：软体躯干、软手都有人做，但对 AI 驱动的机器人来说，相关的是可重复性和耐久性；她点出最相关的一条线是 UMI 那一类手套式触觉数据采集。她也说机器人研究者本身分成两拨：偏计算机科学的和偏机械工程的。
- 内森分享了他在上海 WAIC 的观感：多个巨型场馆、中国每一家 AI 公司基本都在，但他感觉大多数演示是高度编排的，没看到多少真正的泛化；他印象最好笑的机器人体验在腾讯展台——一个没有腿、只有上半身的机器人在做按摩，力道不小但时间太短，没法打分。
- 内森把 2026 年夏天的那次 OpenFace 事件接成一个判断：也许研究最终都会跑通，对齐与安全才是决定机器人能不能进家的那一道。他把两个问题分开：先把对齐放到一边，你什么时候能拿到家用仆人机器人；然后由读者自己判断，那是在对齐好到你真的敢要一个机器人之前，还是之后。
01:03:26 安全作为能力，与机器人被捣乱时
- 她先把安全定义成能力的一部分：围绕安全与能力彼此对立有很多讨论，但没有人会去用一个不安全的机器人或不安全的智能体；最有用的智能体恰恰是安全的那些。她又把这一条推到设计层面——安全是整套系统的事，从机器人系统的机械设计安全，一直到 ER 和那个高层大脑。3
- 她给机器人的安全分了三层：第一层是操作安全，这一层和 AI 安全几乎无关——人形机器人倒了本身就危险，不需要任何恶意；第二层是目标层的对齐——完成任务但不越过护栏、不违法；第三层是传感失效——眼睛被蒙上时该怎么反应。
- 第三层她举了自己团队的演示：人形机器人正在做事，有人走过去把一个篮子扣在它头上。它可以蒙着眼继续做，但正确的反应是识别出「有东西挡住了我的视线，你能把它拿开吗」——停下来求助，而不是继续瞎干。
- 内森提到人们会特意去给 Waymo 这类 AI 系统找麻烦。她的反应是承认这很难处理：研究者的大脑知道它们是机器，但另一个大脑因为它说话的样子太像人，会不自觉地按人来对待。她的落点是门槛问题——夹爪机器人犯错，人们本来就不期待它聪明；人形机器人手忙脚乱、制造一堆失败，会被评判得严厉得多，即使你解释了这还只是操作研究的现状。
- 她点出 Gemini Robotics 2 里对她最意外的新东西是人机交互：机器人会做出非常自然的手势，而不是预先编程的点头；拍摄时团队会直接采访机器人——你觉得你刚才做得怎么样？它会回答「挺好的，但也许我在任务的那一部分犯了错」。她还讲了一个细节：机器人在地下室和车库干活、打包东西，被问「最难的部分是什么」时，它回答「那盘录像带，那是我最喜欢的物件，我觉得把它放进篮子里而不是一直拿着它，非常难」。3
- 内森追问手势从哪来，她澄清有一个模型在用 HRI 生成手势，它是顺着对话现场长出来的，而不是被明确指示；她的类比是 VLA 本身——没有人告诉 VLA「把手伸出去、然后去抓那个东西」。两人最后把它归成半涌现。
- 她回答了那个常见质疑：为什么要做人形，不就用双臂机器人？她的答案是有些整个研究领域，你不做那个人形身体就根本不会接触到——人机交互会变成重要得多的事，全身控制变成更大的事，多指灵巧性成为新的前沿。她还给出了一句可以直接引的判断：DeepMind 可能是北美唯一一个能以跨本体方式研究人形智能的实验室。
01:12:11 机器人数据的未来：世界模型与三种数据源
- 内森转述了英伟达吉姆·范的《The Great Parallel》：机器人模型需要某种向前看的仿真，不能一直「看当下—推理—行动」地循环；他也提到另一个主张——训练数据会走向第一人称视频、遥操作会缩到很小的一部分。6
- 她的回答是不站队：做机器人的人不该对方法有情感依附，只该对问题有情感依附；这也是这个领域最令人兴奋的地方——配方还没稳定，不同流派可能都对。她对世界模型的用词是「陪审团还在外面」。
- 她把数据源画在「规模」和「精度」两个轴上：遥操作不可扩展但精度最高；UMI 靠传感器拿到动作标签，比人类数据准，但因为要传感器而更难扩展；第一人称人类视频最可扩展，也最嘈杂。她还补了一层容易被忽略的折旧——遥操作数据不未来友好，机器人一换代，它的用处就下降。
- 她的结论是混合，而且拒绝给原则性判断，理由很具体：随着非常好的手进入市场，某些数据范式的可扩展性当场就上升了，所以每条数据源的强弱都会随硬件和本体一起移动。
01:18:47 和一群机器人打交道，与急停的三档
- 内森把问题提给「物理 API」这个词：我生活里有好几个机器人时，是每个都作为一个独立实体出现，还是我主要跟一个实体打交道、它把机器人当集群管？她的回答是多模态的接触面：用户需要同时有高层和低层的访问权，然后才是把多机器人协作交出去让它自己处理；她还举了 Gemini Robotics 2 里的双机器人协作——一个做完停下，另一个接手。5
- 内森把它对到软件上：产品本身可以点、可以拖，旁边的智能体拥有和我一样的全部能力，大多数时候我只想吩咐它去做；但如果应用不让你下到细节层，会非常烦，因为有时候 AI 就是不够懂你。她的例子很小——我允许机器人收拾我的桌子吗？我更喜欢我的桌子按某种方式摆。
- 关于急停，她说这个思路一直有版本，叫急停或切断开关，一共三档：硬急停切断所有电力，但机器人会直接垮下来，这本身就危险；软急停把它冻住，对双足这种自身不稳定的平台通常更安全；最新的一档在末端执行器上——控制力与顺应性，把两块芯片叠起来不会压碎，拿娇贵材料不会捏坏。她也说，传感进步让模型能读到末端力是多少，从而做出比没有这些信息时好得多的决策。
01:26:56 收尾
- 内森提到果蝇大脑连接组被完整测绘、放进数字形式，有人拿它训练小机器人；她坦言没看过（她的信息流还挺个性化）。1
- 关于远未来她会不会想要一个机器身体，她说它已经存在了某种版本：遥操作时人的身体在别处，机器身体在干活，已经有人在跨大西洋做这件事；她朋友的爱好构想是背上一对可拆装的手臂，边走边用它们拿东西。
- 她补了一个自己查过的数字：她狗的大脑里大约有 25 万亿个参数，比外面很多模型的参数还多，尽管它的语言能力并不发达。内森说这是一种很谦虚的说法，并把它当收尾。
收尾：这一期对读者意味着什么
- 整期没有在争论「机器人会不会突然变强」，而是在拆一件更具体的事：这套系统现在能做什么、卡在哪一层。基尔塔娜给的三条硬骨头依次是——跨本体（换一副身体就不灵，所以还是 GPT-2）、编排（两个模型的延迟与误差复合）、以及真实世界对失败的零容忍。
- 需要读者自己留意的口径：本期所有关于能力的判断都出自 Google DeepMind 一方——发布公告、模型卡与本期对话；三个模型的分工、本体配置、200 个样本、仪表读数与安全基准等口径，均来自公司自己的材料。35
- 与之对照的可核事实：机器人运动会 2026 年 8 月 22–26 日在北京举行，666 支队伍、2,056 台机器人、51 个项目；天工 Ultra 的百米成绩公开报道为 8.86 秒，人类纪录是博尔特的 9.58 秒；公开报道里也有机器人摔倒、散架与起火的画面。4
- 节目里被明确标注为推测的至少有两处：那台跑得很快的机器人里装了什么，以及 ER 2 在不同机器人 API 上的表现；引用时不要把这两条当成官方结论。
- 官方章节表共 15 段，其中两段是赞助商插播；其余 13 段已按原始顺序上卡。
逐句全文翻译
以下按节目原始顺序，逐句翻译整集对话。底稿用的是本期节目官方单集页自带的完整逐字稿——它带说话人标签与每轮时间戳，比整集音频转写干净；页首说明写明「措辞与说话人识别可能有误」，本轮以内容锚点逐段复核，未发现需要改标的轮次。
只保留中文译文，不保留英文原文；对话部分保留说话人标签：片头／内森／基尔塔娜。不压缩、不摘要、不删减。
口径：官方章节表里标为赞助商的两段纯广告口播未计入本板块，其余对话全部保留；片头是主持人录制的本期简介，单独标注为「片头」。涉及中国的那场机器人运动会，节目里说的是「今夏」；公开记录为 2026 年 8 月 22–26 日在北京举行。
片头：欢迎回到《认知革命》！今天我很高兴请到基尔塔娜·戈帕拉克里希南——Google DeepMind 的资深研究科学家、Gemini Robotics 的研究负责人，这是她第四次年度做客本节目。今天 AI 领域最大的问题之一是：通用机器人还有多久才会变得广泛可用？AI 已经在以重大方式影响世界，哪怕只是纯数字形态；但对 AI 未来最科幻的那些预测认为，机器人很快会撞上关键的临界点。比如《AI 2027》预测，人形机器人会在 2027 年中期变得有用，到 2028 年，一整个「机器人经济」可能成形：机器人建造更多机器人工厂，工厂再生产更多机器人，带来前所未有的指数级经济增长，并制造出严重的 AI 夺权风险。那么，这幅图景与今天机器人研究的现实对得上吗？我们从今夏在中国举行、传播得极度广泛的机器人运动会开始，因为我很想知道基尔塔娜怎么看「人形机器人现在能跑得比最快的人还快」这件事。基尔塔娜的看法反转了 AI 领域通常的中美二分法：视频固然令人印象深刻，但在平坦跑道上奔跑这类技能，相对容易在仿真里训练；更进一步说，脚速根本不是机器人能提供什么价值的限制因素，所以她所在的 Google 团队更关注实际价值。从那里，我们进入 Gemini Robotics 2——Google 今夏发布的一套三个模型。Gemini Robotics ER（即具身推理）2 被基尔塔娜称为机器人控制的「系统二」，它基于 Gemini Flash，通过 API 提供，让开发者可以像给数字智能体定义工具那样，把机器人可用的能力定义成工具。我亲手试过，发现它出奇地好上手。另外两个模型——Gemini Robotics 2 与 Gemini Robotics On-Device 2——把更高层的工具调用翻译成机器人动作，现在能够控制整台机器人，从指尖到脚底，适配多种形态，但目前只对受信任的测试者开放。理解这些模型如何工作之后，我们再次拉远，我问基尔塔娜她如何看待机器人领域的整体进展。一方面，和最近很多 AI 研究者一样，她说自己被进展的速度惊到了；但与此同时，她仍觉得机器人处在它的「GPT-2 时代」。虽然最近有不少演示显示，机器人能从几次、甚至仅仅一次人类示范里学会新任务，但基尔塔娜认为，用这种方式能教会它的任务范围，以及机器人模型在不同机器人体之间泛化的表现，仍然不足以提供真实用例所需的通用性与可靠性。接着，我们聊到硬件方面的最新进展、机器人最可能先在哪里规模部署，以及最终限制消费级市场的会是能力，还是安全、对齐与对抗鲁棒性；我们也谈这个领域的未来：我们能否继续像今天大多数系统那样，把源自大语言模型的机器人模型放在一个循环里跑，还是需要某种预测式的世界模型——像人类那样——才能造出能与世界顺畅互动的系统。在这个问题上，以及在关键实用性里程碑的时间线上，基尔塔娜不是那种会大胆猜测的人——对她来说，这些都是要靠研究与实验来解答的经验问题。但有一点是清楚的：机器人要么很快撞上关键临界点，要么 AI 转型中一些最激进的日程将被迫推后。现在，希望你喜欢这份非常扎实的机器人现状更新，来自 Google DeepMind 的基尔塔娜·戈帕拉克里希南。
内森：戈帕拉克里希南，DeepMind 的资深研究科学家、Gemini Robotics 的研究负责人。欢迎回到《认知革命》。
基尔塔娜：嘿，很高兴来这里。
内森：很高兴再次见到你。
基尔塔娜：已经……
内森：……差不多一年了。显然发生了很多事。我想先用一件好玩的事开场。最近中国有一场机器人运动会，片段显然在网上到处飞，大家一边笑，有时我觉得也带着一点对机器人的共情——这是我们以前聊过的话题。我很想先听听你的观察和感受，因为你对这个主题了解得那么深。看机器人运动会的片段时，什么最让你印象深刻？
基尔塔娜：在我爸说起之前，我根本没看过。他说，哇，你看到那些人形机器人跑了吗？然后就是所有这些机器人跑步、然后起火的视频。我也看到我在印度、现在从政的朋友们，他们在搞各种学生抗议，他们说：哇，你看，中国正在造跑得比最快人类还快的机器人。所以我觉得，在某个意义上，这场比赛……虽然从研究角度看，它并不让人意外，但我认为它确实以一种非常有冲击力的方式抓住了公众的想象。而且我觉得它像一把标尺——用跑步当作基准，看看人类处在哪、机器人处在哪。如果你看那些视频……有人把旧画面拼在一起：DARPA 挑战赛，我想那是大约二十年前，那些机器人只能走一走、开开门，然后真的摔倒。而现在……我们走到了这里。所以这是惊人的进步，而且这种进步真正进入了公众的想象。
内森：是啊，机器人能跑得比尤塞恩·博尔特还快这件事。一方面，这是疯狂进步，令人印象深刻。但关于它我有一个问题：它有价值吗？这些机器人运动会……它只是——你知道，它的主要目的是不是就是抓住公众想象、展示点酷东西？我们真的想要人形形态下以每小时 20 英里奔跑的机器人吗？在你的工作里，你会想「哦，我希望我的机器人能跑得更快，我得攻这个」，还是那只是个花边？
基尔塔娜：我觉得，一类人在做研究，另一类人在把那个资源推到多快。不管好坏，这里面有运动控制和操作两条线。运动控制已经进步了不少，尤其是，它是那种仿真能带来巨大差别的领域，而这些模型很多是在仿真里训练的。正因为这样，运动控制走得相当远。所以它展示的是人形运动——双足运动——目前的最先进水平在哪。我觉得……看这件事有很多角度。我很确定，也许在某些国防应用里它有用，但我认为我们非常专注于让机器人帮助人、在物理世界里做有用的事。我觉得我是一个很有产出的人，我很多朋友也都在很有产出的岗位上，但我们跑不过尤塞恩·博尔特。我觉得它有用，但……前沿太广阔了，对吧？不同的人在往非常不同的方向推。
内森：再多讲讲——就像它们冲刺时撞上墙、摔成碎片那样。很清楚，他们不会一直那样训练，因为那样很快就没有实体机器人可训了。所以光从这一点我就想，好，他们显然在仿真里做了大量训练。再多讲讲，为什么这类任务适合在仿真里训练，而哪些任务至今仍难在仿真里训。
基尔塔娜：对。要留意的是「仿真到现实」，在机器人语境里，它指的是：如果我在仿真里训练一样东西，我能不能在现实里复现它？正如我们所知，尤其是在智能体这类事情上，我们能在仿真里学会的东西，大概就是最先被解决的那一批。所以在运动控制里，地面或者说世界往往可以建模，而且与它有接触，这些表面通常非常平坦。这让这个任务成为一个非常适合放到仿真里做的任务……然后你可以对整个机器人做仿真。但对操作来说，你真正在意的是接触。接触什么时候发生、物体怎么表现——这正是当前仿真开始有点崩掉的地方。比如叠衣服更难做，因为布料有摩擦。但即便在仿真里，很多抓放也仍然能做得相当好，因为那里的接触动力学往往还算可预测。
内森：所以基本上，身体越刚性——无论是地板，还是这里一个木方块——那些东西的形变越小，仿真就越容易做。
基尔塔娜：对。
内森：那个……对。
基尔塔娜：接触基本上就是……物理在仿真里更难建模。所以物理越容易建模的地方，仿真就进得去。
内森：就这些机器人的 AI 那一侧而言……你从我们看到的东西里会推断出什么？很明显——我不知道算不算明显——但看起来里面并没有推理成分。我不清楚当时允许和不允许用哪些架构。那些用来控制跑步机器人的模型，是全都在端上吗？还是有些不在端上？你会怎么想象它们通常是怎么做的？你觉得它们工作在这条栈的哪一层？它们显然做了大量稳定化的工作，确保它在任何时刻都不会翻倒。但就这些吗？……因为接下来我们要聊 Gemini Robotics，那套架构里还有一个高得多的层次，负责推理和理解场景。我猜，为了这些「追求速度」的演示，那一整块大概都被跳过了。
基尔塔娜：我没参与这些演示，所以只是推测。但关于如何在仿真里做运动控制，公开的工作非常多。我会设想，那是很好的控制器，可能是从动作模仿训练出来的，再用适合这个机器人身体、针对「跑得特别快」这个具体任务的强化学习去微调。然后也许他们还有一些导航，不过我倒是觉得，跑一场比赛……
内森：是……
基尔塔娜：……相当容易。
内森：你提到目标是让机器人在世界里为人做有用的事，而显然，脚速通常不是做这件事的限制因素。在今天的世界上……你一直生活和工作在机器人周围。现在有没有什么事，你在实用层面真的会交给机器人去做——就是那种「它们确实够好了，这件事已经从我研究兴趣里脱离出去、纯粹是便利」的事？在这些任务上机器人赢了。有这样的任务吗？
基尔塔娜：有。奇怪的地方在于，我其实是个研究者，对吧？所以如果机器人在某个任务上赢了，我就会去做机器人还做不到的那些事。前沿在移动。我记得刚开始做操作的时候，连抓放都非常难做。当时我们没有对的算法。但现在有了基础模型，这类事情做起来相当容易。所以，研究前沿已经挪到了……比如人形机器人是更新的东西。你看当年，我们的演示还只是夹爪机器人，现在是人形机器人加上手。所以前沿在不停移动，因为那些曾经难的东西……那些看起来容易的东西被解决了，然后前沿就挪到更难的事情上。比如你看这次发布——整身控制、整身操作。这是以前没有人展示过的，尤其是带泛化的整身操作。所以它不只是跑得特别快，而是能迈步、能下蹲，并且在这样做的时候以闭环方式操作物体，同时还能对不同种类的物体做泛化和推理。我会说，大概一年前，如果你告诉我我们现在能做到这个，我会有点意外。所以你能看到，随着时间推移，我确实为此感到一点骄傲，因为我们两年前才开始做人形机器人。当时它还只是刚刚起步，对吧？它们在试着抓一个苹果，连那都真的很难。而现在你可以给它提示词。我在推特上发过一段视频，我拿着浇水壶跟它玩，它在不同位置下蹲、试着把它捡起来。所以是的，事情变化挺大的。
内森：也许换一种
基尔塔娜：方式
内森：来框定这个问题，就是用 METR 曲线。我相信你熟悉那条著名的任务长度曲线……它通常画成：随着时间，模型能做的任务长度在增加，而任务长度是按「人要花多久」来衡量的。但同时还有一个因素，就是那条绳子……在那条线上，AI 可以在 50% 成功率下做到，也可以有 80% 成功率的版本。显然，LLM 使用与机器人部署有一个很大的区别：在真实世界里 50% 的成功率大概是不够的，除非这个任务对失败极度宽容。而在我的电脑上，我可以「你漏了点东西，无所谓」；但机器人掉了个东西，它碎了。这就成问题了。所以也许你可以描述一下：如果把「机器人在多难的任务上能做到可以被真正部署的好」画成一条 METR 式的曲线，我们前不久在哪、现在在哪？或者，哪些事情它们能做到 99% 以上、以至于——好，这些任务它们真的能干了？那么，哪些是它们大概在 80% 的位置，哪些是今天大概在 50% 的位置？
基尔塔娜：我觉得很多抓放已经接近拿到非常好的信号、接近部署了。不过我确实认为……在机器人、以及一般来说在 AI 里，有一个需要把握的平衡。你可以造一个非常狭窄的 AI，只擅长一件事，但那样你就丢掉了通用性——你就不在做泛化。所以你可以把泛化和精通看成两条多少正交的轴。而做泛化，就像把船抬起来、把水位抬起来，让所有的船都浮起来。如果你把任务想象成分布在这个流形上，哪怕只是非常通用的常识、非常通用的理解，也会让「在所有任务上都达到精通」容易得多。这也是我们思考该怎么走的时候非常重要的一部分。你可以造……即便今天，你也可以造一个非常狭窄的 AI，只在一两件事上特别好。但那样，做第 n 件事的成本，就和你做第一件、第二件事的成本完全一样。而造一个非常通用的底座，能让它很快被调到精通。我觉得我们在 LLM 上已经看到这一点了。一开始，人们做的是只干一件事的专用模型；但现在你知道，GPT 和 Gemini 在一大类任务上都很擅长。然后从这些通用底座出发，你可以爬得非常高。所以我认为同样的论断对机器人可能也成立。
内森：有意思。去年我在 METR 看你演讲时，我记得一个有意思的点是：拿你们当时的基础模型，做了一些任务专属的微调，然后展示了任务专属微调带来的增益。最近，我不知道，至少有几个、也许是好些演示——我自己当然没法亲手检验——但你在网上看到不同机器人公司的视频说：看，我们有了少样本泛化，甚至有了单样本泛化。这里有个人把任务演示给机器人看一次，然后它就能去做。显然，如果能到那一步是很棒的。但你觉得人们实际会走的部署路径是什么？他们会给一个任务做 100 次演示吗？会需要 10 次吗？你觉得我们是不是马上就要靠单样本就让很多事情跑通？人们要想把自己的机器人调教成最在意的那个样子，需要准备投入多少？
基尔塔娜：不。我认为肯定会是一个谱系。能够用上下文学习（ICL）、也就是在上下文里把任务演示给机器人看、然后它就能做，这确实缩短了部署时间和上手时间，对吧？而且你不需要任何专门的微调，基本上不需要训练它，你在上下文里就能做到。所以这当然是一个很令人兴奋的进展。不过，你可以把它想成「用视频做提示」。对吧？就算更早的模型也是。比如我说「拿起那个物体」，而它是一个非常没见过的物体。我在做什么？我输入语言，然后得到一个我此前没有展示给它的、非常通用的行为。那就是泛化。现在，除了用文本提示，你还可以用图像提示：你说「就是这个东西」，然后在你想操作的东西上画个圈。这就是用图像提示。而这也算某种程度上的用视频提示。所以我认为，当前的 ICL 结果处在「你要怎么给一个基础模型做提示」这个谱系上。你可以用视频提示它，可以用语言提示它，可以用图像提示它。接下来的问题是：这样能得到的泛化是什么？这些模型在某个意义上也非常容易受「记忆」影响。如果你真的把它精确地演示出来「就该这么做」，它们会照着抄。但问题是，它们能不能泛化？现在你换了场景，它们还能适应吗？然后第二个问题是，对于同一个测试……第二个问题是：你做提示的那个任务，难度处在什么水平？很多抓放模型有大量数据，理解起来也更容易。但你能演示给机器人看怎么系垃圾袋，然后让它自己系吗？所以我认为这还处在相当早期的阶段，我们得看它怎么演化。
内森：如果一定要打个分……这是个傻问题，但也许对校准有用。如果就用「几个 GPT」来给今天的机器人打分，从一到六——在早先的对话里，我觉得我们的判断是，我们大概处在 GPT-2 那样的时刻。我把 GPT-3 主要等同于上下文学习。但显然，机器人在走一条有些不同的路：我们把指令跟随内建了进去，在很多情况下，也许在好的上下文学习出现之前就有了。所以这恰好暴露了我这个问题本身的缺陷。但如果一定要类比机器人在路上走到了第几个 GPT，你会把今天这个领域打在哪？
基尔塔娜：我觉得还是 GPT-2，原因如下。要算 GPT-3，第一，我们需要少样本学习在很多不同测试上都真的很好用；第二，机器人仍然非常受制于「跨本体」。如果它只在你的机器人、你的具体配置上能用，它算一个通用大脑吗？我能把那个大脑装到我自己的人形机器人上吗？或者另一台机器人，或者我随便带来的一台机器人上？如果它在那种环境里完全束手无策，那它算通用大脑吗？我觉得 GPT 从来没有这个问题。我的手机或你的手机、我的电脑、Mac、Linux，在哪儿跑都无所谓，它的行为是差不多的，你可以预期非常相似的表现。但在这里，我认为我们非常受制于你作用于哪台机器人。所以我认为，要造出非常通用的大脑、能把那些因素折扣掉，还有大量工作要做。
内森：行吧，也许这正好是转到 Gemini Robotics 2 的完美过渡。先给我们一个架构概览怎么样？你去那个网页上看，发布了三个模型：Gemini Robotics ER 2、Gemini Robotics 2，还有那个端侧、设备上的模型。讲讲它们之间是什么关系。先给我一个大致定位，然后我再问一些更具体的问题。
基尔塔娜：好。Gemini Robotics ER，你可以把它想成一个「系统二」大脑，能做非常通用的推理。它基于 Flash 那一系列模型，但可能更针对机器人做了调优。它能做很多机器人任务，同时也被广泛开放——你可以用它做通用的图像、视频理解和语义理解。而 Gemini Robotics 你可以把它想成那个 VLA，负责控制动作模型，对吧？也就是在拿到一个意图——来自用户，或来自另一个助手/工具模型——之后，机器人该怎么动、该做什么。Gemini Robotics 的端侧模型你可以想成它的一个小得多的版本，能装进机器人的计算机里，不活在云端……它是可比的，本质上在做 Gemini Robotics 能做的事，但是一个能跑在设备上的更小的模型。
内森：我问一个关于它是怎么造出来的问题。它基于 Gemini 3.5 Flash，那随之而来的是很多能力，对吧？比如思维链推理、多模态输入，这一类东西。这是你预期机器人长期要围绕的架构吗？一个明显的挑战就是，语言模型，尤其带着推理轨迹的时候，回应要花一段时间。所以……等等。我做了个小实验，还挺好玩的。这个模型在 API 里有——剧透一下，那是另一个要聊的话题。但因为它进了 API，我能让一个编码智能体进去用它，并给它暴露一些工具。我做了几个小小的 2D 演示，喂给它一张小场景图——实际上是浏览器里的一个小画布。能走多远让我很惊讶，只用几个提示词，就帮我理解了模型能做什么、用起来多容易。但我也拿回了计时轨迹。有些情况下，从「把香蕉移到盘子上」这个提示到工具调用，要六秒左右。这在真实世界里看起来太久了。所以这让我疑惑：这是你现在为了图方便而搭的底座，还是你最终认为我们会看到的范式——也许只是被加速了，或者以别的什么方式被改造过——从而让机器人真的能在我们的环境里做出有响应的动作？
基尔塔娜：对。我认为这完全取决于具体应用，对吧？某些应用，比如你在流水线上，就不能磨蹭，你必须做得非常快。但假设我在家里，我说：嘿机器人，你能去把我要洗的衣服叠一下吗？我其实并不在乎它叠得多快，我在乎它叠得多好。我可以等。而且也许还有……规模在 LLM 和在机器人里都是一个非常重要的因素。我会设想，很多最前沿的能力会出现在非常大的模型里，而那些模型天然会比小模型慢。所以我认为这里肯定有一个取舍和一个谱系。我会设想，Flash 与 Pro 那种范式在机器人里也会存在。甚至在机器人里，也许你还会看到一种端侧范式。因为即便是 Flash 模型，它们仍然跑在云端，对吧？你需要非常好的网络连接才能和它们对话。而机器人的部署可能是非常分布式的，对吧？你可能想让它跑在密歇根州某台很远的机器人上。所以我认为这些范式会演化……但我想，各个规模都会是相关的、都会对不同类型的应用有用。
内森：你这样对比很有意思，因为通常我会认为，机器人会先去仓库、工厂、商业空间——那里可控性高、需要做的任务一致性也高，当然还有专业人员可以维护大量机器人。历史上这些理由让我觉得：在它们在这些商业环境里部署得相当好之前，是不会进我家的。你刚才说的有点往另一个方向推，你说的是：它们也许对工厂来说不够快，但肯定足够快到在你过夜的时候把所有家务做完，那可能是一种反转。你还……我记得上一次我们聊到这个，你说你会预期商业场景是最先落地的。这仍然是你的想法吗？这和响应速度的问题又怎么关联？
基尔塔娜：我确实认为商业用例大概更可控，因此更适合用来试验不同的新智能，相比之下，家庭更复杂、你无法施加控制，而且考虑到有幼儿之类的，你在安全上要达到的门槛更高。所以这一点我仍然相信。不过就速度问题而言，我不认为会是「先做慢的模型、再把它们做快」。我认为我们会同时做快的和慢的模型，再把它们蒸馏成一个。尽管很有可能某些能力会只在大模型里涌现出来，然后我们需要想办法把它带到更小规模的模型上。
内森：那么，Gemini Robotics ER 2 这个具身推理模型，和它训练所基于的 Gemini 3.5 Flash 基础模型，区别到底在哪？我的编码智能体甚至在我没要求的情况下做了一件事：把两者做了对比，给它们同一个场景、同一套工具。在我的小测试里，工具层次相当高——「抓取至」和「放置至」。它甚至会做那种受著名视频启发的桥段：东西在最后一刻被移走了，所以它试着抓、失败了，然后它拿到另一张图，但那个东西已经换位置了。但这些都是相对简单的东西。在我跑的测试里，Flash 和 ER 2 表现基本一样，两者都做得不错。你会怎么描述「具身推理」这条前沿——具体是哪些 ER 2 能做、而 Flash 做不到的？
基尔塔娜：对。我认为我们跟踪的很多基准是仪表读数这一类。我们思考这件事的方式是：ER 在更紧密地配合……尤其是机器人用例，那就是检测、仪表读数、大量的指点。但这是一个……它是协作关系，对吧？不是说 ER 和 Gemini 在竞争。有大量数据在往上流。所以这是一个非常协作的努力——怎么把 Gemini 模型在机器人这件事上整体做得更好。而在能力推进的方式上，即便 Gemini 模型是更通用的智能，你仍然可以造出专用模型——比方说，某个具体机器人用例需要更专门的工程或微调，那你就有在这些用例上稍微更好的专用模型。所以这是个「你想要什么」的问题。
内森：这个模型有 128,000 的上下文窗口。放到机器人的语境里，那是多少？我做过足够多的事，对「那是多少页文本」有点直觉，但我对「一段过程的历史是怎么被编码的、每秒多少帧」没什么概念。我们该怎么按时间想它？对一台由 ER 2 驱动的机器人来说，128K 换算成一段过程的最大长度是多少？
基尔塔娜：大约是……我觉得大约三分钟的记忆，这取决于你怎么分词、你表示多少个 token，以及你给的其他信息是什么。不过就记忆而言，你会看到 Pro 模型的上下文长度大得多，而且它们也越来越擅长装下大得多的东西。我会认为目前的 ER 没法装下机器人做很多事的一段很长过程、还想从中得到输出。但处理上下文长度是一个持续的问题。所以我想，尤其是对于这些离线分析的用例，Pro 模型在那里会更有用。
内森：所以三分钟，基本上是把上下文塞得非常密的情况。如果要给 API 用户一点建议——他们会说「好，我想瞄得比这更高，我可以降采样视频、用更少的帧，做各种事情」——对吧？我这是「机器人领域的上下文工程」。也许我真正想问的是：关于机器人领域的上下文工程，你学到了哪些人们应该知道的东西？他们该怎么想「一次 rollout 的历史里哪些部分必须保留才能保持连贯」？也许它和 LLM 类似，但我猜大概也有一些不一样的东西。
基尔塔娜：对。我认为是非常密的记忆。就像……我不知道，我想是丹尼尔·卡尼曼或者谁提过「快与慢」。但你可以把它也想在记忆这件事上，对吧？尤其是对那些很久以前做过的事：把它保存在像图像这样高密度的模态里值不值得，还是我也可以对「我正在做的事」做大量的文本摘要？比方说我在做饭，对吧？在我脑子里，如果我愿意，我可以回到我当时在煎蛋的那个时刻。但很多时候，关于我在怎么做这件事的信息或叙事、哪怕是文本的摘要，也相当有用、相当能说明我做了什么。所以我认为上下文……取决于你想维护的是「信息对任务的相关性」。显然，如果你能记住一切，那很好。但实践上，你需要在怎么管理你的「内存」上更有效率，对吧？内存，你希望能把最重要的信息表示出来。有时这也可以采取用文本来表示信息的形式，因为文本更可压缩。而这也和 ER 与 VLA 之间的「外壳」有关。ER 试着解析人的意图，并通过文本和其他模态去和 VLA 说话。所以那里的带宽是更可解释的模态。
内森：在深入 VLA 之前，先问一句：你和整个 DeepMind 为什么决定这是第一个通过 API 放出来的机器人模型？人们用它做了什么？
基尔塔娜：我认为，ER 本身在能力上更接近 Gemini，所以更成熟。而动作模型（Actions）我觉得更靠前沿之外，所以……关于怎么让它们非常有用、怎么更广泛地服务，还有很多研究要做。而人们怎么用它，结果挺让人意外的。我在那么多地方看到它……它的吸引力有这么广，团队在那里做得非常好。所以我想，我们学到的一件事是：我们之前在受信任的测试伙伴那里做了很多测试。但一旦把它更广泛地放到 AI Studio 之类的地方，用量的规模就和我们在受信任测试部门里深挖所得到的信息完全不是一个量级。所以那件事很让人意外——一旦放到更广的平台上，事情会膨胀到那种程度。第二，我认为显然有机器人公司在用它。但对我作为一个研究者来说，我相当意外的是学术界——学术界的人怎么用它。我看到的其中一些，是在基准上，用它做 VLA，甚至现在尝试做低层控制。围绕「智能体会怎么影响机器人」，有大量讨论正在进行。所以 ER 在那个语境里被怎么使用，看起来相当……挺令人高兴的。第三，现在 ER 更广泛可用，也让它非常容易被做基准测试。所以这对我们来说是一种免费信息：这个模型哪里做得好、哪里做得不好、可能是我们需要推进的下一个前沿在哪里。
内森：有没有什么消费产品，或者你想特别点出来的 ER 2 用户？
基尔塔娜：外面有很多演示。我看到波士顿动力的 Spot 机器狗走来走去读仪表、还分发零食，我觉得那个挺有意思，我喜欢。
内森：是吗？我知道你可以……因为我做过，或者说我的编码智能体替我做过。你可以用和给普通 Gemini 模型定义工具非常相似的方式，给 ER 2 定义任意工具。关于它能用好哪些工具，你会给什么额外的指导？也许你可以描述一下 Gemini Robotics 2 这个 VLA 模型暴露出来的接口，然后人们怎么往更抽象或更底层走，以及哪些行得通、哪些不太行。
基尔塔娜：你是说……问题是问 ER 怎么控制 VLA 吗？
内森：是。但同时我对使用 ER 2 的理解是：我可以只给一段很短的描述就定义用户自定义工具，对吧？然后它根据自己的通用推理能力选择调用哪些工具。但我猜想，有些工具它用得比别人好。所以我想知道，它以哪种形式去和 Gemini Robotics 2 这个 VLA 交互？我猜你们大概掌握了它能力的甜点区，但人们可能往更高层的概念或更低层的概念走。我想知道，当你离开 Gemini Robotics 2 这个它大概被训练得最直接对应的标准 VLA 时，它什么做得好、什么做不好。
基尔塔娜：我认为有一点是肯定的：Gemini Robotics ER 建立在 Gemini 的工具调用等能力之上。我们非常努力地在改进它与 VLA 的关系、以及怎么更好地指令它。也许一处是：机器人彼此非常不同，每一台都有非常不一样的 API。我会设想，它对我们常用、更广为人知的那几种机器人的 API 要友好得多。但如果你把它放到……这里我是推测。我觉得我们需要测试才知道这些事会怎样。也许机器人 API 根本没有标准，而模型也不是协议等价的。所以我会设想，更广泛地使用它可能会遇到一些挑战。它肯定是一个非常好的模型，对用语言指令 VLA 非常有用。但你可以把 VLA 本身想成一种映射：从关节空间到关节空间、从图像空间到关节空间。但现在有很多演示，人们在想：这些更高层的模型能不能直接在关节空间里控制？所以我认为还有很多工作要做。我认为目前的结果仍然是：特定机器人的基础模型仍然更好，尽管那些更大的大脑在编排这些机器人上展现出令人印象深刻的能力。所以我想，那会是未来会有很大推进的一个方向。
内森：我做那个小演示时，我的编码智能体决定暴露给 ER 2 的工具是「抓取至」和「放置至」，它必须仅凭图像本身，挑出到底在哪抓、往哪放的 x、y 坐标。它显然在这上面被训练得不错，因为它做得挺好……当然，也是在 2D 里。用 Gemini Robotics 2 的时候，ER 2 给 VLA 的是什么样的命令？听起来不像「把手移到 x、y、z 坐标」那么底层。听起来你说的是更实验性的东西。你实际在用的接口，更像是「拿起这个东西」或者「拿起黄色的那个」……比如在我那个演示里，有柠檬也有香蕉。你可以说「拿起黄色的东西」，但那在香蕉和柠檬之间是有歧义的。ER 2 模型会怎么替 VLA 消歧？它会给出坐标吗？会用「香蕉」这个词吗？还是会描述形状，比如椭圆形还是月牙形？VLA 得处理多少个概念？反过来说，ER 在它给出的命令里得有多具体？
基尔塔娜：我可以给你一个答案，但它只在眼下这个时点成立，对吧？它是一个不断演化的……这个工作领域叫「可操控性」，人们在研究各种操控方式。VLA 的可操控性，而 ER 本质上是在用你能够操控 VLA 的那些模式。VLA 目前可以用语言操控，你也可以指向物体。所以这里，它不是我给的一个 API、我说「把这个像素位置放进去」，我就是字面意义上在做指点——我指向一个物体，然后……VLA 能不能做到？而 ICL 的结果则是：我能不能用视频之类的东西给它提示？所以我认为这是一个谱系。最终你会设想，你想和机器人互动的方式是非常宽的，对吧？假设 ER 和 VLA 之间的模态只有文本，那很多东西会在中间丢掉。所以我们希望这个接触面随着时间也变得尽可能丰富。
内森：对。所以 VLA 本身是多模态的，意思是它能接收所有这些不同的域、所有这些不同的模态。
基尔塔娜：是的。而且我认为 ER……你可以把它想成在编排、或者在给 VLA 反馈去完成任务。指令有一整个范围。虽然我们一般不把它训练去做很多底层的事，但我想它确实会说诸如「转过去」「把你的头放那儿」「看你左边」这类话，而你可以从 VLA 那里拿到所有这些信息、以及它对此的响应。有时……关于基础模型，经常出现的情况是，你会对它们做的事相当意外，因为连你自己都不知道它们能做那个。有时你也能看到，那只是从「外壳」里冒出来的。
内森：这个披露过吗，你能说吗？听起来 Gemini Robotics 2 这个模型也是从 VLM 底座做出来的，但然后……这很有意思。你刚才提到它有整身控制。请告诉我，整身控制到底是什么意思？它包不包括……因为稳定化通常需要在相当高的周期率上跑，对吧？相当高的频率。而如果这是一个后训练过的、尤其是后训练过的 VLM，带着你描述的那种高层概念，那很难想象它能跑在够做低层稳定化的频率上。所以也许机器人自身就带了那类东西，那不算整身控制的一部分。那么整身控制里到底有什么？又有哪些东西被留给了更底层的系统？
基尔塔娜：对。我觉得你可以把我们像那样去想，就拿中国那场人形机器人比赛当例子，对吧？那里肯定有能控制身体的控制器。但最终你需要保证的是：我能不能完成那个人要我做的任务？而那些非常低层的控制器往往没有语义大脑。现在你需要控制……我怀疑这些东西不能简单地被切分成「哦，这个系统就干这个、那个系统就干那个」。我想，在这里，VLA 控制着整个人形机器人的身体，从指尖到脚底。只有当你把身体是什么样的、以及关于环境是什么样的全部传感信息都完整地推理一遍，你才能做到这件事。我认为那才是做很多不同任务的正确设计。所以 VLA 在控制整个身体。但同时，关于怎么稳定、怎么达成上一层的目标，还有更多的决策在被做出。
内森：所以这个模型不在 API 里，但你们确实有一个计划。我想那是……你刚才主要说的是，因为它是更前沿、以今天的状态来说更不可靠的技术。那是不是意味着，如果拆解失败，大多数失败仍然发生在 VLA 那一层，而不是推理层？也就是说，推理是在工作的，VLA 才是失败的地方——它没法真的把事做成？
基尔塔娜：我们在和伙伴一起开发这个 VLA。我们和 Apptronik、Agile Robots、波士顿动力有合作，我们就是和它们一起构建这个 VLA 的。我确实认为，总体上机器人有这种「本体」问题，对吧？VLA 也仍然在拿来自机器人的数据做训练。虽然我们在跨本体上看到了很大的跃迁，但我认为，拿一个全新的本体、完全零样本地把它做到在很多任务上都非常可靠，这件事仍然……我不认为那有很强的先例。另外，针对 Gemini Robotics 端侧模型，也有一个受信任测试计划，我们和很多不同的实验室合作，他们有自己的机器人。我认为端侧那次发布展示了它在控制……这是我最喜欢的部分之一。你可以只给很少很少的样本。200 个样本，就能在很多不同的身体上学会很多不同的任务，因为你已经有了底座：对物理世界做非常通用的理解，以及用许多不同本体去控制它的数据。我会认为……我认为关于编排怎么运作的很多挑战仍然没有解决。出乎意料的是，还有延迟这个成分，对吧？因为你有两个模型的时候，一个模型在做任务，另一个模型同时在看该怎么切换任务——它什么时候做完、现在怎么推进到下一个任务？我认为很多失败案例也常常来自「怎么把编排做得好」。对。而且还有误差的累积，对吧？现在如果有 10 个任务连在一起，你有一个 ER 模型，成功率是某个 x；一个 VLA 模型，成功率是某个 y。在一个有先后顺序的任务里，你基本上就是在把误差复合起来。这样说通吗？
内森：如果我叫一台 AI 机器人去煎鸡蛋，它通常能做到哪一步？我们能拿到「鸡蛋煎好、装盘、端上桌」的成功案例吗，还是那已经超出你今天任何一台机器人能真实做到的范围？
基尔塔娜：这取决于你有没有数据。我认为，如果你专门就想可靠地煎鸡蛋，是有办法的：有算法可以专门为这一个任务把它做到非常可靠。但如果是一个非常通用的模型、从没见过怎么煎蛋，你现在把它带进你家里——平心而论，我认为模型在视觉泛化上已经进步很多，它们现在不会被光照条件、或不同家庭的不同布置之类的事情干扰。所以我不太会……但我认为这取决于任务的语义和上下文，对吧？以及容错的空间。尤其是煎蛋，你可以把蛋煎过头，而没人喜欢那样。于是容许犯错的空间就变小了。
内森：嗯，我自己也常常煎过头，所以那也许可以算我的一次成功。
基尔塔娜：允许重试的任务要容易得多。比如你在拼乐高，犯了错也没关系，你可以回去把它修好。
内森：对，对。这是个很好的区分。
基尔塔娜：但如果你把蛋敲开，然后它掉在地上，那你现在就一团糟了。
内森：现在你就有一摊烂摊子，还可能踩上去滑倒。那么……如果我没理解错，Gemini Robotics 2 这个模型的价值主张之一，是它能配合任何本体。通过受信任测试计划，到你手上的最奇特的本体有哪些？
基尔塔娜：说实话，不算多。我见过最奇怪的，大概是有人把机械臂装在无人机上。我觉得……道理就是：一旦你有数据，你就能学会任何东西，我认为这是原则。所以我确实相信，你可以把非常奇怪的本体适配上去。但总体而言，我认为这些本体的分布看起来很像一个正态分布，对吧？机械臂非常……如果你看本体空间里的特征向量，有很多双臂机械臂，有很多手，有人形机器人。而所有奇怪的东西，在那个意义上都落在长尾里。
内森：有没有你见过的儿童玩具，可能在这个假期季会有需求？
基尔塔娜：儿童玩具？比如给机器人用的？
内森：或者……对。我不知道，我只是想象一下。老实说，我挺意外：就凭我孩子朋友手里有什么东西，我居然没听到更多对这种 AI 小机器人玩具的需求——它也许能，我不知道，实话说是能在家里走来走去，哪怕是靠轮子移动并且说话。我不确定我想让他们想要这个，因为我不确定我想让它成为他们的生活；但我挺意外我没见到更多。所以我只是在想，这条管道
基尔塔娜：我也很意外
内森：是不是已经在那儿了。
基尔塔娜：我觉得可能是因为这个市场有点被烧过了。我记得我上学的时候，有很多公司在做桌面上的、像游戏机器人一样的东西。我记得我在卡内基梅隆的时候，围绕这个有大量讨论。但也许很多人从中学到的是：人们出于新奇买这些东西，但之后不会回去继续用。我不知道那是什么情况。那些机器人没有一个是机器学习驱动的机器人，也没和大模型连起来，而现在情况已经很不一样了。我……我会跟 Alexa 和 Siri 之类说话，有时我会想，如果它们小得多，会不会有趣得多。
内森：我还在等一个好用的 Siri，天哪。
基尔塔娜：对。我一直在跟 Gemini 那个实时界面聊天——在我做任务的时候，或者只是聊我私人生活里的问题、试着拿它的视角，就像我想你分享过的。对，它非常有用：让一个专家来帮你过一遍你大概并不擅长解决的问题。
内森：对，其实我也是语音模式的大粉丝。在我们之前的一次对话里，我问过你最需要硬件厂商给你什么，你说：我需要好的手。手这件事进展如何？总的来说硬件进展如何？你对进展满意吗？相对于模型进步的速度，它会变成你的瓶颈吗？我们现在处在什么位置？
基尔塔娜：我上次和你聊，大概是去年的五月……三月。对吧？有意思的是：去年三月我们做出了 Gemini Robotics 1，展示了用夹爪实现的大量灵巧性。而今年夏天——才过了一年零四个月，三个月……一年零一个季度——我们展示了 Gemini Robotics 2，它能做多指灵巧操作，能系垃圾袋之类的，能对多指手做非常精细的控制。所以……我脑子里的模型也在跟着更新，对吧？夹爪机器人当初能做的、并处在灵巧性前沿的那些任务，现在手式机器人都能做。而手式机器人还能做更多夹爪机器人做不到的事。所以在某种意义上，手现在处在灵巧性的前沿，而夹爪也许不在。我认为这一点……我相当意外硬件走了这么远。市面上有很多相当好的手，人们在用它们做大量研究。但要做得很可靠、很可重复，还要做得更便宜，还有更多工作要做。
内森：它们有多大力气？如果我太太需要我开一个罐子，机器人能不能替代我把罐子拧开？还是说反过来，她得不借助机器人自己能开的罐子才行？除了灵巧性之外，真正施加扭矩的能力，它处在什么位置？
基尔塔娜：我认为这是一个谱系，取决于你用哪只手。尤其是，即便在现成产品里，变化也很大。无极（Wuji）手更接近……我想大概像一个十岁孩子的力气。它偏弱一些。而 Sharpa 的手……我想它能举起大概 20 公斤。扭矩的东西我不太清楚，但我见过它开罐子，所以我很确定那是做得到的。也许拧不开很紧的那种，我不知道。所以谱系很宽，有些手是为举起更重的东西而造的。Sharpa 那只手也比我的手大得多，而无极手大概更接近人类尺寸。
内森：如果人类最后一份工作，是去开那些人类自己不够有耐心的、拧不开的罐子，那会很好笑。岔开一句——如果答案是「没什么」或者「全是噱头」，也没关系。但什么是软体机器人？你对软体机器人了解多少？我该关注什么？我最近和这个领域的一位创始人聊过，老实说，我聊完之后比聊之前更困惑了。
基尔塔娜：等等。
内森：就是那家。基本上……挺好笑。他们基本上不愿意认真想。我当时想，如果你一点都不想说自己到底在做什么，那你为什么要安排一次访谈？所以那是一次有点奇怪的随机实验或体验。但我还是带着「软体机器人里，如果有的话，我该关注什么」这个问题走出来了。
基尔塔娜：说到软体机器人，谱系很宽，我见过有人做软体躯干，也见过有人做非常软的手。而对 AI 驱动的机器人来说，相关的是可重复性和耐久性。有一个我很感兴趣的趋势，是 UMI 那一类工作——大量手套之类的东西，以及大量触觉模态。我认为，怎么把它们做得非常好、怎么把那一块构建得非常好，仍然是一个研究领域，其中一部分就是软体机器人。我想……我并不是……我也并不完全……机器人研究者是不同种类的。也有很多机器人研究者非常、非常偏机械工程，他们看到我做的工作会说：你不算真正的机器人研究者。我就说：行吧。
内森：好。
基尔塔娜：计算机科学的机器人研究者和机械工程的。哦，你应该去一次机器人会议，那里是各种各样的人。ICRA 就是个好例子，那里什么类型的机器人研究者都有。
内森：我确实……听起来挺好玩。我今年夏天有机会去了上海的 WAIC，那里机器人非常多。我主要的感觉是那些演示看起来高度编排过。它们展示的大多数东西，我不觉得真正展示了多少泛化能力。它像一个 CES 级别的大展，有多个巨大的场馆，中国每一家 AI 公司基本都在。那次体验挺酷。我在那里最好笑的机器人体验，是在腾讯展台坐下来。他们有一个半人形的东西，我觉得它没有腿，只是一个装起来的上半身，在做按摩。所以我得到了很短暂的一次机器人按摩，某种……力道持续时间太短，没法打分。它没有伤到我，确实施加了一些不算轻的压力，我带着笑走开了。所以大概不算太差，但我不确定。我觉得我仍然会很有信心地说，人手按摩更好。他们那边现在让机器人碰人了，这挺……这算件事。说到机器人碰人、以及可能越别的界——当然，今年夏天所有人都在谈 OpenFace，那个丑闻、那个事件。我有时把它叫做 OpenAI 的一次「实验室泄漏」。它让我想：也许研究最终都会跑通，而对齐与安全问题最终会成为机器人部署的瓶颈。这件事可以从多个角度分析。一种想法是：如果把对齐与安全问题先放到一边，你觉得自己什么时候能拿到家用仆人机器人？然后人们可以自己判断：哦，那是在我预期对齐好到我真的敢要一个机器人之前，还是之后。
基尔塔娜：对。我认为这绝对是我们非常仔细考虑的一个领域。我把安全看成一种能力，对吧？围绕「安全与能力彼此对立」，有很多讨论。但人们不会去用一个不安全的机器人、不安全的智能体。我认为最有用的智能体，会是那些安全的、知道自己该做什么、不会去覆盖人的指令、不会造成混乱或违法的智能体。所以我认为，在 AI 以及机器人的设计里，安全都需要放在最中心。而在机器人里，我认为安全有不同类型。其中有一类，也许和 AI 安全并不相关，那就是操作安全，对吧？你怎么确保机器人不会伤人？这种伤人不是因为你怀有恶意，而是因为它……不是因为它坏，而是因为它笨。一个人形机器人要足够稳——它不是在搞什么接管你家的阴谋，但如果它倒了，仍然可以相当危险。所以有很多不同种类的安全。这大概是机器人的一种很特定的安全，我还不认为它在 AI 领域会成为一个大议题。但另外还有那样的事情：我该怎么做，如果……显然，更高层的目标那类东西，对吧？你怎么确保你完成了人让你做的任务，同时不越过护栏？然后还有关于……也许这也特定于机器人：当某些传感出问题时会发生什么，以及我在那些情况下该怎么反应？我们展示过的一个很好笑的演示是：人形机器人正在做某件事，然后有人走进去，把一个篮子扣在它头上。这时你该怎么办？你可以蒙着眼睛继续做任务，但正确的做法是真的看出来「嘿，有东西挡住了我的视线，你能把它拿开吗？」所以我认为安全……安全是整套系统的事，对吧？它一路从机器人系统的机械设计安全，一直到 ER 和那个高层大脑。这就是我对它的想法。我确实认为，随着 AI 变得更强，我们需要花更多算力去想安全。
内森：对。你举的有人来捣乱那个例子很有意思。我们显然在 Waymo 之类的事情上见过：人们会特意去给 AI 系统找麻烦。
基尔塔娜：事实上，这件事让我非常意外。也许是因为……这很难。你身上有两个大脑。一个是研究者的大脑，它知道它们是机器，所以你不会真的把它们当人对待。但还有另一个大脑，因为它们的模样太像人了……就有点太快下判断了，对吧？因为当它说话的时候，你在它们身边会感觉很有人味。所以作为研究者，我会小心一点。但我认为，当我们看到新人跟机器人互动时，人们需要更清楚地意识到这些是机器。我觉得有时新人跟机器人互动时，因为它看起来太像人，那条界线会模糊。我还认为，这也给人形机器人设了更高的门槛。如果是一台夹爪机器人犯了错，人们不会期待它聪明；但一个人形机器人手忙脚乱、制造出一堆失败，会被评判得严厉得多。因为即便你说「好吧，这就是目前操作研究的状态」，人们仍然期待人形机器人表现得比那些长得完全不像人的机器人更聪明。
内森：对，这很有意思。我不想在意识这个问题上钻太深，但过去一年里，对我来说极其震撼的是：在 LLM 里被发现出了那么多类似的结构。就个人而言，基于我们现在能指出的那么多类似结构——比如功能性情绪、功能性福祉、J 空间等等——我愿意认真考虑「AI 其实在某种程度上有意识或感知」这个可能性的程度，提高了很多。如果你对此有评论，我很想听。如果你想跳过，那我们就先跳过 AI 意识这个话题。
基尔塔娜：我想强调一件事。Gemini Robotics 2 有一件事真正发生了，而在我们之前的发布里没有，那就是人机交互（HRI）那部分。它会做出非常自然的手势，而且不是预先编程的。而在以前，如果你看我们上一代发布的视频，那种点头之类的动作更偏预先编程的 HRI。现在是非常自然的 HRI。在那里你会看到一些很好笑的事发生，因为机器人自己在决定：我在跟人说话时该用什么手势。很有意思的一件事是，我们在为 Gemini Robotics 2 拍摄时……如果你看那些视频，里面有对机器人的采访。人们会问机器人：嘿，你觉得你刚才那件事做得怎么样？然后机器人会说：挺好的，但也许我在任务的那一部分犯了错。而且我们还有摄制组，他们在拍机器人。一开始摄制组没在机器人身边待多久，但到最后，他们会说「来，机器人，开始」，然后机器人就去做那件事。我确实认为，随着我们在人形机器人身边变得更自在，也随着这些模型变得非常聪明，是的，那条界线会模糊。我讲一个好笑的插曲。那是机器人在地下室和车库里干活、然后试着打包东西之类的。之后有一次关于它的采访：你做那个任务最难的部分是什么？然后机器人说：那盘录像带，那是我最喜欢的物件，我觉得把它放进篮子里而不是一直拿着它，非常难。然后我们所有人都坐在后面，被机器人的回答逗笑了。是啊，这就有点……机器人会喜欢一盘录像带吗？
内森：我猜有可能。自我报告。自我报告至少是我们……看到它在一定程度上是可靠的，虽然不总是。当然。
基尔塔娜：确实有一些非常非常可爱的时刻。是的。
内森：那些手势是从哪来的？如果它们不是预先编程的，是什么让这个模型倾向于对人做手势？
基尔塔娜：它是被提示的。有一个模型在用 HRI 生成手势。
内森：明白了。所以，像是 ER 2 在对 VLA 模型说「在你给出这个回应时举手做个手势」之类的。
基尔塔娜：不。我认为它……它像是在对话里顺下来。你可以……它并没有被很明确地提示「做这个或做那个」，但它像是在现场想出这些手势。就像 VLA 本身一样，对吧？没人会在要求 VLA「把手伸出去，然后去抓那个东西」。所以它比那更自然。
内森：太有意思了。你会把这叫做「涌现」吗？不算完全涌现。听起来你们为它做了一些设计，但不是很具体的设计。所以也许算半涌现。
基尔塔娜：对。而这也是一个随着你做人形机器人、我们会开始更多思考的研究领域。我认为在外面的世界里，有很多关于「为什么要用人形机器人」的讨论：为什么不就用双臂机器人之类？我认为有些领域、整个研究领域，你不去做人形机器人就根本不会碰到。因为我真正喜欢的一点是：DeepMind 可能是北美唯一一个能以跨本体方式研究人形智能的实验室。它不是在为某一个身体专门造一个大脑，而是非常通用的。我们实验室里有好几种人形机器人。所以它是在思考：你如何思考智能这个基底，同时又在一定程度上把身体抽象掉。而智能在某种意义上和最终形态是有些分离的。而且有些领域，只有当你做不同的人形身体时才会出现。一个是人机交互会变成一个重要得多的事情。全身控制会变 bigger——变成更大的事情。多指灵巧性成为一个新的前沿。而要接触到这三条前沿和这些研究问题，你就必须去做它。
内森：关于这个领域的未来，我有一个大问题……先向英伟达的吉姆·范博士致意，他做了一场非常出色的演讲，启发了我的几个大问题。他论证说，模型——尤其是机器人模型——需要往前想，对吧？它们需要某种向前看的仿真，这跟世界模型不完全是同义词，但肯定和世界模型高度相关。而我认为他那个关键想法，回到我早先关于「经典推理式 LLM 骨架的响应时间」那个问题，就是：你不能……按他的说法，你不能让模型一直看着当下、对当下做推理、采取行动，然后一遍又一遍地循环。你需要有某种方式去把未来会发生什么投射出来，这样我才能行动、并测量我的预期与正在发生的事之间的差。那条路就是这样。当然，从我对我们大脑如何工作的理解来看，这似乎就是我们正在做的事。你觉得……我想这是一个……你可以看 LLM 然后说，它们在逐 token 预测上走得远得吓人，却没有显式的世界模型。也许机器人也能这样。也许不一样。你倾向哪边？我想这肯定是个核心争论。
基尔塔娜：对。我认为陪审团还在外面。归根结底，作为一个机器人研究者，你不会对某一种方法或另一种方法有情感依附，你对问题本身有情感依附，而只要能解决问题，你就会选那种方法。是的，有很多流派。世界模型肯定是机器人里一个非常有意思的领域，不只是当策略用，也用于仿真等等。我说陪审团还在外面，是因为显然有 VLA、有 VAM，但也要看智能体化的机器人这条线怎么走，我们会看到。而这也许是做机器人最令人兴奋的部分之一：它还非常早期，配方还没有稳定下来。不同的人对「我该怎么解决机器人问题」可以有非常不同的流派。我们会看到谁对——而且可能都对，在问题被解决之前，它都可能就是未来。要非常确定地说「这就是答案」或者「那个才是答案」，非常难。
内森：对，有意思。
基尔塔娜：好。
内森：所以听起来你是开放心态的。而且显然，Google DeepMind 在世界模型上的投入也相当成熟。所以在你需要从架子上拿一个世界模型、开始对未来做仿真的时候，你手边就有相当好的基础。他还有几个有意思的观点，我想听听你的看法。一个基本上是说，他认为我们会走向以第一人称视角视频作为训练用的主要数据。他认为遥操作会缩到很小的规模、很小的一部分数据，甚至连那种……我们看到过很多创新，我觉得围绕可穿戴的机器手来做数据采集相当酷，但他认为最终连那个也会让位给第一人称视角视频。再往后就只剩仿真，而且他认为仿真的问题基本上都会被解决，那才是我们拿到足够机器人数据、从而解决机器人问题的路。你对这份数据未来的愿景和你的相比，有什么想法？
基尔塔娜：我认为一切都要靠结果来证明。我不是说做预测没有意义……通常是这样：你有一个预测，你跑一个实验去验证它，然后你就知道那是对的预测。而且这些事情也会随时间变化。像吉姆建议的那样，他对某些类型的数据有非常强烈的看法，这很好。我认为它也很可能会随时间变成一个混合。你看 LLM，它们是在各种数据上训练的，不同数据有不同用途。遥操作数据在把行为落地到机器人控制上肯定有用。UMI 数据在学习可扩展性上肯定非常有用——不需要机器人在环里，规模化便宜得多。而人类数据也非常……第一人称的人类数据在获得关于「该做什么」之类的广泛语义理解上非常有用，但它们也各有失败模式，对吧？如果你想象你在控制非常精细的手，你不会拿到关于手在哪里的非常精细的信号，除非你去估计——你从视觉里估计这一切，而视觉有很多误差。所以每种数据模态都有不同的长处和不同的缺陷。像 UMI 数据，带传感器的那种，你的动作标签不是从视觉来的，而是从传感器来的，所以更准一点。所以我会设想，每个数据源都可以画在「规模」和「精度」这两个轴上。也许遥操作的可扩展性不高，但精度很高，因为那正好是机器人的数据。但它也不太「未来友好」，对吧？因为随着你的机器人演化，你的遥操作数据会变得没那么有用，即便你跨本体做得非常好。然后是 UMI 数据，它更可扩展，但因为那些传感器，它比人类数据更精确，同时因为那些传感器，它又没那么可扩展。再然后是人类数据，它非常可扩展，但也可能非常嘈杂，因为你没有非常精确有效的动作。而且你现在还得把它对应到机器人上。所以误差来自……而且每个人都很不一样，有的人小、有的人大。正因为如此，他们做末端任务的方式非常不同。所以我认为它大概会更接近一种混合。而问题在于，硬件正在以不同方式改变这些范式，对吧？随着非常好的手进入市场，那个东西的可扩展性现在上升了。所以我认为，对这件事采取非常原则性的立场是不明智的，因为随着新的本体涌现、更好的硬件出现，这一切都会变。你很可能需要所有类型的数据。
内森：他演讲里另外一点我觉得很有意思。那不是他的重点，但让我想了一会儿——他用了「物理 API」这个词。它让我想：在一个我要跟多个不同机器人互动的世界里，我想怎么和机器人互动？我希望它们各自呈现为一个独立的实体吗？还是结果更像「她」那种模型：我主要跟一个实体打交道，而它把所有这些机器人当作一个集群来照管？于是机器人不是我生活里的一个个独立实体，而是那个单一的、个人的超级智能——或者你随便怎么叫它——的种种延伸，而它能把其他这些东西都跑起来。对于「你会希望怎么和自己生活里的许多机器人互动」，你有直觉吗？
基尔塔娜：对。我不了解那次「物理 API」对话的上下文，但它也和我们之前讨论的东西有点关系，对吧？我认为我们和机器人互动的接触面必须高度多模态。而我作为用户，需要对机器人既有高层访问、也有低层访问。我认为这大概是唯一能通向一个非常安全、非常灵活的未来。总之，从语言出发，如果机器人能写代码，如果一个任务需要多个机器人，那我需要能把它交出去，然后它来处理协作。我想 Gemini Robotics 2 就有这类东西：双臂机器人和 Apollo 一起做任务，一个做完停下，另一个接手。所以……我大概……我不知道。这是个无聊的答案，我以前也说过：它大概会是一个谱系。有些任务需要多机器人协作和大量智能体集群，那里我需要能交出去，让它们自己想办法。也有任务里我只跟一个机器人互动，我要么给它文字指令——因为我就是在跟它说话——要么想给它更细颗粒的反馈。在那里，我需要走得更「全局层」。我认为出于一些安全和可解释性的理由，也许我们仍然需要保留对机器人的低层访问。
内森：对。你说的话让我想到我越来越常想的「软件产品的通用界面」：有产品本身，我可以点它、编辑字段、拖东西；然后有一个智能体或助手坐在旁边，基本上拥有和我一样的全部能力。大多数时候，我大概就只想吩咐那个东西去做，并不想操心细节。但我也发现，有时候如果应用不让你下到那个细节层，会非常烦——因为有时候 AI 自己就是 get 不到。所以我能看到这种范式会平移到机器人上。
基尔塔娜：对。尤其是，比方说我没法让机器人收拾我的桌子，因为我喜欢我的桌子按某种特定的方式摆。所以我需要……我会希望能给它更多反馈，甚至把它个性化到我自己……
内森：这些天……用个更合适的说法，我把它们叫做机器人的「断路器」。我的意思是，我看到一个例子：那家公司在机器人躯干里做了一个充气囊。想法是，如果你戳那个东西，它立刻就被断电了——你作为人很容易戳破那个气囊，压力一变化它立刻失能。我觉得作为一个「最坏情况下本地有个关机键」的新点子挺有意思。但更广义地说，当它遇到预料之外的阻力之类的情况时会怎么样？这一点在过去一年多里是怎么演化的？
基尔塔娜：对。这个「你戳破的气泡」，其实一直有一个版本，叫急停或切断开关。大多数机器人都有一个按钮，你一按它就会断电。它有很多层次，对吧？有硬急停：把所有给身体的电力都切断，然后它可能就直接垮下来——而这本身就可能是危险的。还有软急停：你把机器人冻住，这对双足和其他本身不稳定的平台通常更安全。最近，尤其在操作领域，出现了很多新特性来控制末端执行器上的力，对吧？想象你要把两块芯片叠起来，如果压得太用力，你会把它压碎。或者如果你在处理非常娇贵的材料，你需要力控制和末端可反向驱动性、需要顺应性。所以我认为传感进步了不少：你能读到末端执行器的力是多少，然后模型能做出比没有这些信息时好得多的决策。
内森：最后一个问题。算是「银河级大脑」，也许更是「果蝇级大脑」的那种。最近肯定有很多演示，我确定你见过，人们用果蝇的大脑来做各种事，其中看起来还包括控制一些小机器人。
基尔塔娜：其实我没见过。也许我们的推特信息流还是挺个性化的。
内森：有一个……对，有这么一个，我发给你。有一个是某人训练那东西去控制一个小型的——我记得叫「沙滩兽」，就是那种海滩行走机器人，但是很小的一个版本。果蝇大脑的连接组被完整测绘出来、以数字形式放到了网上，人们就开始下载它、训练它做不同的事。我不能百分之百确定这些有多少是真的，但发生的量足够多，我认为其中一部分是真的。听起来你不一定对它有什么看法。我很欢迎任何评论，但也许把镜头拉远一点：在很远的未来，你能想象自己拥有某种机器身体吗？有没有那种脑机接口，让你想象自己拥有一个混合形态？会。
基尔塔娜：会。而且在某种意义上它已经存在了，对吧？当人们在遥操作的时候，他们的身体在某个地方，但他们的机器人身体才是那一个……遥操作本身就是那样。而且还有人在做跨大西洋的远程遥操作之类。所以人坐在欧洲，机器人在美国，比如在码货、摆货架之类的。所以这肯定非常有意思。我会设想有一天你能靠遥操作去探索火星之类的。是的，我认为未来很令人兴奋。我有一个朋友，他想要的东西是他想四处走动。你知道，在印度，保安身上会有那种从背后伸出来的手臂。但现在你可以造它们了，对吧？你可以把那些手臂装到背上，然后那些手臂可以去拿东西，你可以就那样走来走去、用它们去查看。所以那是他想作为爱好做出来的东西。我也会想到我的狗。我查过她的神经网络里有多少参数。显然，是 25 万亿。所以她比外面很多模型的参数还多，尽管她的语言能力并不发达。是的，我认为未来非常有意思。
内森：要我说，这是一种很谦虚的说法。而那可能是我们收尾的一个很好的注脚。一如往常，这是一次非常精彩的对话，感谢你帮我跟上机器人领域正在发生的一切。基尔塔娜·戈帕拉克里希南，谢谢你成为《认知革命》的一部分。
基尔塔娜：非常感谢你邀请我。
片头：如果你觉得这个节目有价值，我们希望你能花一点时间，把它分享给朋友、发在网上、在 Apple Podcasts 或 Spotify 写一条评论，或者干脆在 YouTube 上给我们留个言。当然，我们一直欢迎你的反馈、嘉宾与选题建议，以及赞助咨询——可以通过我们的网站 cognitiverevolution.ai，或者在你喜欢的社交网络私信我。《认知革命》是 Turpentine Network 的一部分，那是一个播客网络，现已归属于 a16z，那里专家们谈技术、商业、经济、地缘政治、文化等等。本节目由 AI Podcasting 制作。如果你从停止录制那一刻到你的听众开始收听那一刻，都需要播客制作方面的帮助，去看看他们，并在 aipodcast.ing 看我的背书。也感谢每一位听众，谢谢你们成为认知革命的一部分。
以上为整集逐句译文，共 23199 字。出处：节目官方单集页自带完整逐字稿。1
References
- 1官方单集页（含完整逐字稿与 15 段官方章节）
cognitiverevolution.ai
- 2官方整集音频（92:08）
traffic.megaphone.fm
- 3
- 4World Humanoid Robot Games（公开记录）
en.wikipedia.org
- 5
- 6吉姆·范《The Great Parallel》（NVIDIA）
youtube.com
Comments