LightLab：使用扩散模型控制图像中的光源

我们提出一种简单但有效、基于扩散的方法，用于对图像中的光源进行精细的、参数化的控制。现有的重照明方法要么依赖于多个输入视图在推理时执行逆向渲染，要么无法提供对光照变化的明确控制。我们的方法在一小部分真实的原始照片对上微调一个扩散模型，并辅以大规模合成渲染图像，以利用其用于重照明的逼真先验能力。我们利用光的线性特性来合成描绘目标光源或环境光受控变化的图像对。利用这些数据并采用适当的微调方案，我们训练了一个可以精确改变光照、并明确控制光照强度和颜色的模型。最后，我们展示了我们的方法如何实现引人注目的光照编辑结果，并且根据用户偏好优于现有方法。