视频生成中重力的问题?通过可验证奖励进行后训练牛顿定律

发表
Minh-Quan LeMinh-Quan Le 提交
作者: Minh-Quan Le, Yuanzhi Zhu, Vicky Kalogeiton, Dimitris Samaras

摘要

AI 生成总结
一个基于物理的后训练框架,使用可验证的奖励,提高了视频扩散模型中的物理真实感和运动质量。
最近的视频扩散模型可以合成视觉上引人注目的片段,但通常违反基本物理定律——物体漂浮、加速度漂移、碰撞行为不一致——这揭示了视觉真实感和物理真实感之间持续存在的差距。我们提出了NewtonRewards,这是第一个基于可验证奖励的、以物理为基础的视频生成后训练框架。NewtonRewards不依赖人类或VLM反馈,而是使用冻结的实用模型从生成的视频中提取可测量的代理:光流作为速度的代理,而高层外观特征作为质量的代理。这些代理通过两个互补的奖励来明确执行牛顿结构:一个牛顿运动学约束,强制执行恒定加速度动力学,以及一个质量守恒奖励,防止琐碎的、退化的解决方案。我们使用我们新构建的大规模基准NewtonBench-60K,在五个牛顿运动原语(自由落体、水平/抛物线投掷以及斜坡下滑/上坡)上评估了NewtonRewards。在所有原语的视觉和物理指标上,NewtonRewards始终比之前的后训练方法提高了物理合理性、运动平滑性和时间一致性。它在高度、速度和摩擦力等分布外变化下也保持了强大的性能。我们的结果表明,以物理为基础的可验证奖励为实现物理感知视频生成提供了可扩展的途径。
查看 arXiv 页面查看 PDF
视频生成中重力的问题?通过可验证奖励进行后训练牛顿定律

评论

Minh-Quan LeMinh-Quan Le
论文提交者

项目页面:https://cvlab-stonybrook.github.io/NewtonRewards