量子位 7 月 8 日 16:00 发布的这篇文章，介绍了智源研究院悟界·RoboBrain Orca Team 的技术报告《Orca: The World is in Your Mind》。Orca 的重点不是让模型更会聊天、画图或直接控制机器人，而是先学习统一的世界状态表征，再从这个表征读出理解、预测和行动能力。1
图集速览
- 图 1：Orca 的入口封面，指向这次世界模型技术报告。
- 图 2：Orca 的核心路线是先用多模态世界信号学习世界表征，再把它接到文本、视觉、动作等任务上。1
- 图 3：Orca 的训练数据包括 12.5 万小时视频、1.6 亿条事件标注和 1150 万条 VQA，覆盖第一视角交互、第三视角物体操作、机器人执行视频和自然动态场景。1
- 图 4：实验设计冻结 Orca backbone，只训练轻量 readout，用文本、图像和动作三类接口验证 world latent 是否真的可用。1
- 图 5：机器人实验中，Orca 预训练阶段没有使用 action label 轨迹，但在物体泛化和场景泛化任务里仍带来增益。1
这篇文章的核心判断
Orca 把 Next token、Next Frame、Next Action 的思路往前推了一步：真正想预测的是 Next-State。也就是当前世界处于什么状态，以及它在自然演化、事件条件或外部干预下会如何转移。1
评论
登录后可发表评论。