TC-Light: 动态长视频的时间一致性光照重渲染

在具有复杂动态的长时间视频中编辑光照，在各种下游任务中都具有重要价值，包括视觉内容创作和操纵，以及通过sim2real和real2real传输为具身AI进行数据规模扩展。然而，现有的视频重打光技术主要局限于肖像视频，或者陷入时间一致性和计算效率的瓶颈。在本文中，我们提出了TC-Light，一种以所提出的两阶段后优化机制为特征的新颖范式。它首先通过膨胀视频重打光模型对视频进行初步重打光，然后在第一阶段优化外观嵌入以对齐全局光照。接着在第二阶段优化所提出的规范视频表示，即独特视频张量（UVT），以对齐细粒度的纹理和光照。为了全面评估性能，我们还建立了一个长而高度动态的视频基准。大量的实验表明，我们的方法能够实现物理上可信的重打光结果，具有卓越的时间连贯性和低计算成本。代码和视频演示可在https://dekuliutesla.github.io/tclight/获取。