AI论文精选
⏶57

LongSplat：用于休闲长视频的鲁棒无姿态3D高斯飞溅

发表
由 Yu-Lun LiuYu-Lun Liu 提交
作者: LIN, CHIN-YANGChin-Yang Lin, Cheng Sun, Fu-En Yang, Min-Hung ChenMin-Hung Chen, Yen-Yu Lin, Yu-Lun Liu

摘要

LongSplat解决了从随意捕获的长期视频中进行新视角合成（NVS）的关键挑战，这些视频的特点是相机运动不规则、相机姿态未知以及场景广阔。现有方法通常存在姿态漂移、几何初始化不准确和严重的内存限制等问题。为了解决这些问题，我们引入了LongSplat，一个稳健的未摆姿3D高斯飞溅框架，其特点是：（1）增量联合优化，同时优化相机姿态和3D高斯以避免局部最小值并确保全局一致性；（2）一个利用学习到的3D先验的稳健姿态估计模块；以及（3）一个高效的八叉树锚点形成机制，根据空间密度将密集点云转换为锚点。在具有挑战性的基准测试上进行的大量实验表明，LongSplat取得了最先进的结果，与现有方法相比，显著提高了渲染质量、姿态精度和计算效率。项目页面：https://linjohnss.github.io/longsplat/
查看 arXiv 页面查看 PDF

评论

Yu-Lun LiuYu-Lun Liu
论文提交者

LongSplat 解决了从随意拍摄的长视频中进行新视角合成（NVS）的关键挑战，这些视频的特点是摄像机运动不规则、摄像机姿态未知以及场景广阔。现有方法常受姿态漂移、几何初始化不准确和严重的内存限制困扰。为解决这些问题，我们引入了 LongSplat，这是一个鲁棒的无姿态 3D 高斯泼溅框架，其特点包括：(1) 增量联合优化，同时优化摄像机姿态和 3D 高斯，以避免局部最小值并确保全局一致性；(2) 一个鲁棒的姿态估计模块，利用学习到的 3D 先验知识；以及 (3) 一个高效的八叉树锚点形成机制，根据空间密度将密集点云转换为锚点。在挑战性基准上的大量实验表明，与现有方法相比，LongSplat 取得了最先进的结果，显著提高了渲染质量、姿态精度和计算效率。