⏶122

NeoVerse: 利用野外单目视频增强 4D 世界模型

01月01日发表

01月05日由 Yuxue Yang 提交

作者: Yuxue Yang, Lue Fan Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang

摘要

AI 生成总结

NeoVerse 是一个可扩展的 4D 世界模型，能够从单目视频中实现无姿态重建和新轨迹视频生成，并具有最先进的性能。

在本文中，我们提出了 NeoVerse，这是一个通用的 4D 世界模型，能够进行 4D 重建、新轨迹视频生成以及丰富的下游应用。我们首先指出了当前 4D 世界建模方法中普遍存在的扩展性限制，这些限制要么是由昂贵且专门的多视角 4D 数据引起的，要么是由繁琐的训练预处理造成的。相比之下，我们的 NeoVerse 建立在一个核心理念之上，即通过该理念使整个流水线能够扩展到各种野外单目视频。具体而言，NeoVerse 的特点包括无需位姿的前馈 4D 重建、在线单目退化模式模拟以及其他高度对齐的技术。这些设计赋予了 NeoVerse 应对各种领域的通用性和泛化能力。同时，NeoVerse 在标准的重建和生成基准测试中达到了最先进的性能。我们的项目页面位于：https://neoverse-4d.github.io

查看 arXiv 页面查看 PDF

Yuxue Yang

论文作者

论文提交者

NeoVerse 是一个通用的 4D 世界模型，能够进行 4D 重建、新轨迹视频生成以及丰富的下游应用。
项目主页：https://neoverse-4d.github.io

NeoVerse: 利用野外单目视频增强 4D 世界模型

摘要

评论