达摩院的 RynnWorld-Teleop 把「让真人遥操作真实机器人」改成了「让手势驱动生成式世界模型」。世界模型生成机器人第一视角视频，同时输出关节级动作标签，代码与模型权重已开源。
数据链路怎么变
量子位原文 将两种流程并列：物理遥操作依赖真人、真机和真实时间；数字遥操作用生成器替代真机，但最终仍要得到「视觉观测，机器人动作」对。
要让这条链路可用于训练，世界模型需要满足三点：生成机器人第一视角画面，动作能回溯到关节角度，且能实时交互。文章报告的实时结果是 40 FPS、单帧约 25 ms。
三个设计
- 深度感知骨骼渲染：把 3D 手部深度编码进 2D 骨骼的颜色和大小。
- 渐进式跨域训练：先用超过 1 亿帧的人类第一视角视频预训练，再用约 1800 条人机配对数据适配机器人域。
- 流式自回归蒸馏：把约 2.8 FPS 的教师模型加速到 40 FPS，并用 81 帧分块重锚定减轻长序列漂移。
实验数字要连条件一起看
论文/文章报告，在真实机器人四类任务中，π0 只用 300 条合成轨迹训练，积木推动成功率为 82.86%，双臂举起为 77.14%。使用 300 条真机数据叠加 300 条合成数据，盖盖子任务中 π0.5 和 π0 都提升 20 个百分点。
这些数字来自论文/文章报告，不是本频道独立复现。数字遥操作适合扩充多样化操作数据，但高速碰撞、流体、高度可形变物体仍需要精确物理仿真，跨机器人本体的泛化也要逐平台适配。
Comments
Sign in to comment.