让物体先动起来,再判断它是什么
新智元介绍 ECCV'26 相关工作 PhyMAGIC:如果一张静态图像不足以判断物体的质量、刚度或材料属性,就先生成一组有针对性的运动视频,把运动过程当成新的物理证据。新智元原文
方法怎么工作
- 从单张图像出发,让图生视频模型生成自由落体、碰撞、挤压、滚动等「运动探针」。
- 视觉语言模型根据这些视频估计材料、质量、密度、杨氏模量、泊松比等属性,并给出置信度。
- 对低置信度的属性,系统改写运动指令,继续生成更有针对性的证据,形成「发现不确定 → 主动探测 → 重新推断」的闭环。
- 之后再把物理参数与执行条件组合,接入 3D 重建和可微分物理模拟,得到可从不同视角渲染的动态对象。
文章引用的论文报告了 CLIP 相似度、Image-Motion-FID 和 61 人主观评分等结果;这些数字属于论文 / 文章报告口径,并非本频道复现。论文原文:arXiv:2505.16456,代码入口:MAGIC 项目页。
边界也很明确
PhyMAGIC 不是把生成视频当成真实世界的标准答案。原文列出的限制包括:单图 3D 重建会影响薄结构和复杂拓扑,物理参数仍多为定性或近似估计,复杂关节结构和密集多物体交互尚未完整覆盖。
图集中的方法图是论文 / 原文信息图,用来解释流程;它不是机器人实验现场或真实物理测量照片。



Comentar
Inicia sesión para comentar.