⏶4
Styl3R:适用于任意场景和风格的即时三维风格化重建
发表
由
Niels Rogge 提交

作者: Peng Wang, Xiang Liu, Peidong Liu
摘要
即时风格化3D场景,同时保持多视角一致性并忠实地模仿风格图像,仍然是一个重大挑战。当前最先进的3D风格化方法通常涉及计算密集型的测试时优化,以将艺术特征转移到预训练的3D表示中,这通常需要密集的带姿态输入图像。相比之下,利用前馈重建模型的最新进展,我们展示了一种新颖的方法,使用无姿态的稀疏视角场景图像和任意风格图像,在不到一秒的时间内实现直接3D风格化。为了解决重建和风格化之间固有的解耦问题,我们引入了一种分支架构,分离了结构建模和外观着色,有效地防止了风格转移扭曲底层3D场景结构。此外,我们采用了一种身份损失,通过新视角合成任务促进我们的风格化模型进行预训练。这一策略还使我们的模型在针对风格化进行微调的同时,能够保留其原始重建能力。使用域内和域外数据集进行的全面评估表明,我们的方法生成了高质量的风格化3D内容,实现了风格和场景外观的卓越融合,同时在多视角一致性和效率方面也超越了现有方法。
项目页面: https://nickisdope.github.io/Styl3R/
代码: https://github.com/WU-CVGL/Styl3R