NeRFiller：通过生成式3D图像修复完成场景

我们提出了 NeRFiller，这是一种通过使用现成的 2D 视觉生成模型进行生成式 3D 修复来完成 3D 捕获缺失部分的方法。通常，捕获的 3D 场景或物体的某些部分会因网格重建失败或缺乏观测（例如，接触区域，如物体底部，或难以到达的区域）而缺失。我们通过利用 2D 修复扩散模型来解决这个具有挑战性的 3D 修复问题。我们发现这些模型的一个令人惊讶的行为，即当图像形成 2x2 网格时，它们会生成更具 3D 一致性的修复，并展示了如何将这种行为推广到四个以上的图像。然后，我们提出了一个迭代框架，将这些修复区域提炼成一个单一一致的 3D 场景。与相关工作相比，我们专注于完成场景而不是删除前景对象，并且我们的方法不需要严格的 2D 对象掩码或文本。我们将我们的方法与适用于我们设置的相关基线在各种场景中进行了比较，其中 NeRFiller 创建了最具 3D 一致性和合理性的场景完成效果。我们的项目页面位于 https://ethanweber.me/nerfiller。