iLRM: 迭代的大规模三维重建模型

前向3D建模已成为实现快速高质量3D重建的一种有前景的方法。特别是，直接生成显式3D表示（如3D高斯泼溅）的方法，因其快速和高质量的渲染以及广泛的应用而受到了广泛关注。然而，许多最先进的方法，主要基于Transformer架构，面临严重的可扩展性问题，因为它们依赖于跨多个输入视图的图像token间的完全注意力，导致随着视图数量或图像分辨率的增加而产生高昂的计算成本。为了实现可扩展且高效的前向3D重建，我们引入了一种迭代大型3D重建模型（iLRM），它通过迭代优化机制生成3D高斯表示，并遵循三个核心原则：(1) 将场景表示与输入视图图像解耦，以实现紧凑的3D表示；(2) 将全注意力多视图交互分解为两阶段注意力方案，以降低计算成本；(3) 在每一层注入高分辨率信息，以实现高保真重建。在广泛使用的RE10K和DL3DV等数据集上的实验结果表明，iLRM在重建质量和速度方面均优于现有方法。值得注意的是，iLRM表现出卓越的可扩展性，通过有效利用更多输入视图，在可比计算成本下提供显著更高的重建质量。