GSFixer：利用参考引导视频扩散先验改进三维高斯泼溅

使用稀疏视图下的三维高斯泼溅（3DGS）重建三维场景是一个信息不足的病态问题，常常导致明显的伪影。尽管最近的方法试图利用生成先验来补充约束不足区域的信息，但它们难以生成与输入观测一致的内容。为了解决这一挑战，我们提出了GSFixer，一个旨在提高从稀疏输入重建的三维高斯泼溅表示质量的新框架。我们方法的核心是基于参考的视频修复模型，该模型建立在一个DiT基础的视频扩散模型之上，该模型在配对的带有伪影的三维高斯泼溅渲染和干净帧上进行了训练，并增加了额外的基于参考的条件。考虑到输入稀疏视图作为参考，我们的模型集成了从视觉几何基础模型中提取的参考视图的二维语义特征和三维几何特征，从而在修复伪影新视图时增强了语义一致性和三维一致性。此外，考虑到缺乏用于三维高斯泼溅伪影修复评估的合适基准，我们提出了DL3DV-Res，其中包含使用低质量三维高斯泼溅渲染的伪影帧。广泛的实验表明，我们的GSFixer在三维高斯泼溅伪影修复和稀疏视图三维重建方面优于当前最先进的方法。项目主页：https://github.com/GVCLab/GSFixer。