机器人还在 GPT-1 的时候：一次示范就够了
二零二六年，机器人最被看好的能力，变成了"看一次就会"。
0:00 / 19:55
机器人还在 GPT-1 的时候：一次示范就够了
只给机器人看一段三到十二秒的动作示范，不做微调、也不更新参数，它就能当场试着做一件没做过的事，十项任务的平均成功率大约是百分之五十九。这是这期节目录完的第二周，一家叫 Generalist 的公司发布的结果。
欢迎收听《七档 AI 创业者精选播客缩短版》。
这期原节目是《十字路口 Crossing》对清华大学交叉信息研究院助理教授徐梦迪的访谈。她从清华的车辆工程出发，途经 Johns Hopkins 和 CMU，在斯坦福跟过吴佳俊和李飞飞做博士后，二零二四年回到清华交叉信息研究院。她一直在做的事，是让机器人进入一个没见过的环境之后，靠人的一两次示范当场学会新任务，而且越学越快。
这一集不预测具身智能什么时候爆发，而是把一位研究者的判断力拆开来看：她怎么决定一条技术路线值不值得押，用什么证据说服自己，以及在进步和泡沫同时存在的行业里，怎么选自己的位置。
这一集带走什么
- 预训练不是全部，剩下那一半叫"适应"。 她说自己很相信 scaling，但预训练不是全部：机器人到了部署环境里，一定需要适应具体环境的变化，因为现实是"开放世界"，任务在不断变化——她自己家今天有二十个物体，一周之后可能就有三十个，种类也不一样。她给出两条当场适应的路：一条是上下文学习，把任务信息放进模型的上下文里；另一条是在测试的时候改掉一小部分参数（她当时的做法是只改整体参数的百分之零点五）。她的结论是真正的方向还是上下文学习，因为数据和预训练规模越大，改参数越不划算。这里还有一个对照：今天主流的专家示范加模仿学习，本质上是在记住数据里的动作，所以只会在见过的范围里插值，它没有学会一个新任务。1
- 一个信号是不是真的，要看它测的是什么。 她说自己确实看到了一些 Scaling Law 的信号，但不是他们自己的，是别家公司发的结果：预训练数据从十万小时放大到一百万小时之后，在一些没见过的测试集上效果变好了。问题是大家测的更多是 loss。机器人里有一个很别扭的地方：loss 跟成功率不直接挂钩。她举的例子是拿一个杯子需要二十步，前十七步都还没碰到杯子，拟合得再好也没有用，真正决定成败的是第十八步。所以她想要的信号，是数据量和模型规模涨上去之后，在没见过的任务上成功率也跟着涨。她把今天的具身模型比作语言模型的 GPT-1 阶段——先预训练、再针对目标场景微调；她真正想要的是 GPT-3 那种时刻：不用微调，只用上下文把任务告诉模型，微调的比重降下去，模型才更容易进更多场景，普通人也才用得起。1
- 上下文学习要解决的，是让模型"被终端用户定义"。 大家看到的叠衣服演示都是叠成方块的，这个演示里藏着一个假设：每个人家里的衣服都叠成方块。她说自己用胶囊衣橱，衣服是卷起来的；有人按固定颜色摆放；有人根本不叠，直接挂起来。所以她想要的能力，是让终端用户用自己的偏好和需求去改变模型的行为。学习速度是这件事的兑现方式：同一件没做过的事，一开始可能要半小时才能适应，类似的场景见过一千个之后，可能十分钟就够了。而这条路最危险的一环，是能不能跑通一个稳定的数据闭环——机器人得先真的进到用户家里或服务场景里，得有人愿意教它，它的基础能力还得先让用户用起来。她现在跑通的还是最简单的一种：桌面任务，双臂加灵巧手，真机上做，人给修正、给指示、给示范。1
- 数据和世界模型不是两条路线，是两个层面。 行业的注意力在数据、世界模型之间来回摆过好几次，她说这不算换来换去，也不互斥：数据决定模型能看到什么，世界模型关心模型怎么表达和理解这个世界。她自己更相信世界模型这一路，理由是任务是穷举不完的，"一个任务一个任务地做"很难规模化，而学到世界变化的规律是更底层的能力。数据的难处不在采集，在定义：数据的定义是由模型需要的能力反推出来的——要动作更平滑，数据就得是平滑的；要从失败里恢复，数据里就得有失败和修正——可今天大家对模型能力的定义还比较模糊。具体到来源，她把数据分成四类：遥操作的数据最接近机器人本体，适合后训练；仿真的数据容易造出位置、贴图、颜色的变化，适合更早期的训练；UMI 的数据在中间，更像机器人的数据、成本更低；最便宜的是人类数据，她很喜欢这一类，因为人本身就是一个非常成熟的本体，采集快、便宜，而且能大规模铺到不同场景里。1
- 进步和泡沫可以同时为真。 她说从材料、传感器、本体，到数据、模型，每一层都能看到对应的公司在做事情，资源也在往这个方向投，所以长期看她是乐观的；同时因为这件事还没有收敛，大家沿着各自相信的方向走，焦点一直在变，泡沫就一定存在。她用一个控制里的词形容它：超调。她还说到自己的选择标准——不是选最好的，而是选最适合自己的，判断方式是问一句"经过这个环境之后，我的能力能不能翻倍"；面试时姚期智先生给她的建议是把注意力收窄，因为真正重要的问题没有几个，而一个人的时间很有限。1
研究摘要与素材边界
本期没有取得原节目的官方逐字稿，公众号"十字路口 Crossing"在本期发布时也还没有发出文字版（当时最新一篇是九月二十日下午的另一篇文章）。内容结构使用官方单集页的节目简介与章节时间线，事实底稿使用官方公开的完整音频（约八十一分钟）的分段全量转写。七段原声都从同一份公开原音频按原始时间码裁取，进入本期同一份音频工程；窗口逐一用波形相关与独立转写核对过位置与内容，自动转写仍可能在专有名词或断句上有误差。
节目里提到的数据规模、内部做法、行业判断，都按徐梦迪在这场访谈里的说法呈现，没有改写成独立核验过的行业事实。
想听完整上下文、现场语气和这一期没有纳入的讨论，可以回听《"我看到了 Scaling Law 的信号"｜对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化》。
本节目是对原访谈的编辑性转译，不替代原节目。
References
- 1《"我看到了 Scaling Law 的信号"｜对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化》官方单集页
xiaoyuzhoufm.com
This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.