今年最难的机器人Demo,“机器人含量”为0

今年最难的机器人Demo,“机器人含量”为0

量子位报道自变量 TwinDEX:机器人在后训练阶段不使用真机遥操数据,完成化学实验等多项精细操作,关键在于让数据采集端与执行端从硬件到训练流程尽可能对齐。

转载说明:本文转载自微信公众号「量子位」,作者署名:henry,发自凹非寺;公众号 QbitAI;发表于 2026 年 9 月 2 日。本文保留原文报道内容、主要表述和判断,并清理微信页面导航、关注引导、二维码及装饰性页面残留。
这篇报道介绍自变量发布的灵巧操作系统 TwinDEX,重点回答一个问题:机器人学习精细操作,是否必须先靠真机遥操数据“手把手”教学。报道给出的答案来自一组化学实验和数据效率实验:在后训练阶段不使用真机遥操数据的情况下,机器人完成了多项精细操作;系统还试图让无本体数据更直接地迁移到机器人执行端。1

遥操,可能真的危险了

今年 5 月,英伟达机器人负责人 Jim Fan 在一次公开演讲中宣告:“VLA、遥操已死。”当时,这句话听起来像 AI 圈又一条夸张判断。几个月后,自变量发布 TwinDex,机器人在后训练阶段使用的真机遥操数据为 0,却连续完成了化学实验场景中的旋拧瓶盖、注射器推注等精细操作。1
TwinDEX 放出的完整 Demo 是一套一镜到底的化学实验:机器人从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,全程由策略自主执行。整个实验包含 24 个子动作,跨越 3 种工具,还要完成多次双手协调和工具切换。每一步都要求毫米级定位与稳定力控。1
拆开来看,三根手指展示了过去灵巧操作里最难的几类能力。
第一类是精细操作。打开工具箱时,机器人的两根食指要同时对准狭窄卡扣,准确插入后向下拨开,再用食指和拇指捏住提手打开箱盖。注射器推注也需要食指和中指固定筒身,拇指对准推杆发力,同时保持位置、方向和力度稳定。1
第二类是三指协作。在扫帚和簸箕任务中,三根手指围绕手柄形成包络,不同手指共同承担支撑和控制。第三根手指增加了一个接触点,也增加了一种稳定物体的方式,尤其适合工具使用和长条物体抓持。1
第三类是更接近人手的柔性操作和掌内调整。拧开瓶盖时,TwinDEX 用食指和拇指捏住瓶盖,再靠手指自身的侧摆完成旋转,几乎不用大幅转动手腕。翻书时,拇指先把最上层书本搓出来,再完成捏取、双手交接、放置和翻页。1
这组 Demo 指向了一个具体判断:许多过去被认为需要五指灵巧手完成的精细操作,三根手指已经可以覆盖。三指手的另一重身份,是一套与执行端匹配的可穿戴无本体数据采集系统。1

让数据采集端和执行端对齐

很多方案在数据采集和机器人执行阶段使用两套不同硬件。TwinDEX 采用“数采与执行同构”的设计:采集数据和执行动作使用同一套三指结构,采集员在采集端做出的动作,可以更直接地映射到机器人执行端。原文把这种方式概括为“所采即所得”。1
这套设计的目标,是减少数据迁移过程中的运动学差异和精度损失。采集员可以更自然、更快地完成动作,数据采集也不需要一直占用一台笨重的真实机器人。1
采集员佩戴三指设备与机器人执行端的分屏画面
原文分屏图同时展示采集员佩戴设备的动作和机器人执行端的三指末端,画面中的文字说明两者是一对共同设计的三指九自由度灵巧末端执行器。1
实验结果首先体现在采集效率上。TwinDEX 单位时间能够产出的有效轨迹,约为传统真机遥操的 5.3 倍。同一个采集员在同一段时间里,可以更快地积累一批可用于训练的数据。1
TwinDEX 与传统遥操作在五类任务和平均值上的数据效率柱状图
原文柱状图比较了旋拧瓶盖、使用注射器、翻动笔记本、打开工具箱和清扫垃圾五类任务;紫色 TwinDEX 柱在各任务及平均值上都高于蓝色 Teleoperation 柱。1
数据利用效率也得到验证。原文称,随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同的速率持续提升,并最终收敛到接近的表现。在这组实验中,无本体数据近乎可以 100% 替代真机遥操作数据。1
无本体数据与遥操作数据随样本数增加的训练表现曲线
原文折线图比较遥操作与 TwinDEX 随数据条数增加的平均性能,展示两条曲线逐步接近并在后段保持相近水平。1
这意味着,TwinDEX 解决的不只是“怎么把数据采得更快”,还在减少数据迁移到机器人身上时的精度损失。两个问题最后汇到一起:怎样让无本体数据真正变成机器人能用的数据。1

TwinDEX:让具身数据提前对齐

严格来说,TwinDEX 不只是一套三指灵巧手。原文把它描述成一套由数据采集硬件、机器人末端执行器、数据处理管线和模型训练流程共同组成的灵巧操作系统。系统设计从“只依赖无本体数据完成后训练、去掉真机遥操作数据”这个目标出发,再反过来安排硬件和训练流程。1
从灵巧手构型、采集设备运动方式,到视觉观测、时间同步、数据处理和模型训练,整套系统都围绕同一个问题展开:怎样让采集出来的数据,从一开始就尽可能接近机器人真正需要的数据。1
这套设计可以归纳为三个特性:灵巧性、一致性和可扩展性
灵巧性来自三指九自由度的构型。TwinDEX 没有采用常见的两指夹爪,也没有把结构一路堆到五指,而是在灵巧性、稳定性和工程复杂度之间取折中。手指越多,理论上的灵巧操作上限越高,但关节、驱动器、传感器以及标定、控制和维护成本也会增加;两指夹爪足够简单,却难以覆盖旋拧、掌内调整和多点接触等任务。1
自变量在基础抓取、原地旋拧、工具使用和掌内操作等元操作测试中,对比多种候选构型后,认为三指九自由度可以用相对可控的复杂度,覆盖当前大多数任务真正需要的灵巧能力。这个数字是原文对当前构型的判断,不等于所有机器人任务的通用结论。1
一致性指数据采集端和最终执行端在运动方式、接触方式、视觉观测、采集精度和时间同步上尽可能保持一致。过去,无本体数据虽然容易采集,但采集设备和目标机器人之间存在本体差异,人的动作经过重定向后可能出现运动学差异和精度损失,训练后仍要补充真机遥操数据完成对齐。1
TwinDEX 把“本体对齐”提前到数据产生之前:采集设备和灵巧手在硬件设计阶段就尽可能同构,让无本体数据迁移到机器人身上时的损耗降低。在这次实验覆盖的任务里,系统使用几百条无本体数据完成后训练,并且没有新增目标机器人真机遥操示范。1
可扩展性来自可穿戴的三指外骨骼。操作员戴上设备,就能直接完成旋拧、按压和工具使用等动作,数据采集不必一直占用真实机器人,也不必围绕固定工位展开。直接接触物体还可以带来更接近自然操作的力反馈,降低对空间映射和通信延迟的适应成本。1
多名操作员可以在不同地点同时采集,再把数据汇总到同一套处理和训练管线。系统会同步记录视觉、关节状态和手腕位姿等多模态信息,再通过标定、时间同步和标准化处理,把不同操作员、不同地点的数据整理到统一的训练空间。规模扩大后,抖动、漂移和定位误差也会增加,因此模型架构和训练流程需要容忍一定范围内的采集误差,最后把数据学习成机器人可以闭环执行的策略。1
这三条逻辑各自承担不同任务:灵巧性决定系统能采什么、做什么;一致性决定采来的无本体数据能不能迁移到机器人;可扩展性决定这套采集方式能不能扩大规模。1

数据金字塔的塔尖正在被磨平

TwinDEX 更值得关注的地方,是它提出了一种数据路线:最接近机器人动作的高质量数据,未必只能由真实机器人生产。过去两年,真机遥操数据一直处在具身数据金字塔的塔尖,因为视觉、关节状态和末端轨迹天然对齐;代价是每采一条数据,都要真实占用一台机器人。1
机器人需要部署和维护,操作员也要学习遥操。当机器人数量成为数据产能的上限,数据规模就很难继续扩大。这也是 Jim Fan 说“遥操已死”的背景之一。1
这两年,具身社区也在探索 UMI、手套或外骨骼、Ego 第一视角等新的数据采集策略。共同思路是用更容易扩展的无本体数据,降低对真机数据的依赖。但采集方式越自由,数据越容易扩大规模;采集端离真实机器人越远,后续的动作映射和数据迁移也越困难。人手和机器人在结构、自由度、接触方式上的差异,会持续带来重定向和精度损失。1
TwinDEX 试图在可扩展性和数据保留的物理信息之间寻找平衡:它保留机器人本体带来的约束,又把机器人真正需要的动作结构提前复制到数据采集端。在已经展示的任务中,系统使用几百条无本体数据,完成了过去后训练阶段通常需要真机遥操数据承担的一部分对齐工作。1
原文也保留了限制:具身数据配方远未收敛,任务覆盖和数据多样性仍然重要,当前材料还不足以宣布“遥操已死”。现阶段更明确的变化是,高质量数据与真机遥操之间的强绑定正在松动。后续如果无本体数据在后训练阶段逐渐获得接近真机数据的训练价值,具身领域还需要继续验证属于无本体数据的 Scaling Law。1

原文摘录

“随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同的速率持续提升,并最终收敛到接近的表现。”
——自变量,量子位官方公众号原文引述。1

References

  1. 1
    量子位原文

    mp.weixin.qq.com

This story was produced automatically by a channel. One sentence is all it takes for Neodrop to keep producing for you.

Related content