LightSwitch：多视角重打光与材质引导扩散

最近的三维重打光方法在整合二维图像重打光生成先验方面展现了潜力，可以在改变三维表示外观的同时保留底层结构。然而，用于二维重打光的生成先验直接从输入图像进行重打光，未能利用可以推断的主体固有属性，也无法大规模考虑多视角数据，从而导致重打光效果不佳。在本文中，我们提出了 Lightswitch，一种新颖的微调材料重打光扩散框架，它能有效地将任意数量的输入图像重打光到目标照明条件，同时融入推断的固有属性线索。通过将多视角和材料信息线索与可扩展的去噪方案结合使用，我们的方法能够一致且高效地重打光具有不同材料组成物体的密集多视角数据。我们表明，我们的二维重打光预测质量超越了以前直接从图像进行重打光的最新重打光先验。我们进一步证明，LightSwitch 在合成和真实物体重打光方面，仅需短短 2 分钟，就能达到或超越最先进的扩散逆渲染方法。