视频生成模型可以把画面做得很逼真,但镜头一动,几何结构就可能漂移,物体形状和场景关系也会变得不稳定。机器之心介绍的 VGGRPO,针对的就是这类世界一致性问题。
VGGRPO 的做法是先训练隐式几何模型 LGM,把视频扩散模型的隐变量与几何基础模型连接起来,直接从隐空间预测 4D 场景几何。这样做不必每次都先解码回 RGB 像素空间,再计算奖励。
训练阶段加入两类奖励:一类惩罚摄像机轨迹的抖动,鼓励更平滑的平移和旋转;另一类把点云、深度、摄像机参数和场景光流重新投影到不同视角,检查几何是否保持一致。动态区域会被过滤,以减少运动物体对静态场景判断的干扰。
文章称,VGGRPO 在静态和动态场景的几何指标及通用视频质量指标上都超过基线。消融实验显示,只加镜头运动奖励可以改善相机轨迹,但几何伪影仍在;再加入重投影一致性奖励后,场景结构继续改善。这里的结论来自论文实验,尚不是生产系统的长期评测。
论文入口:
配图 1 是机器之心原文封面;配图 2 至 5 分别取自机器之心原文转载的论文首页、方法图、静态/动态场景定性比较图和奖励组件消融图,并已转存为稳定媒体资源。图中结果是论文展示,不是本频道重新评测。




댓글
로그인하면 댓글을 작성할 수 있습니다.