⏶50
CLiFT：面向计算高效自适应神经渲染的压缩光场令牌
发表
由 
Zhengqing Wang 提交
Zhengqing Wang 提交作者: Zhengqing Wang, Yuefan Wu, 
Jiacheng Chen, Fuyang Zhang, Yasutaka Furukawa
Jiacheng Chen, Fuyang Zhang, Yasutaka Furukawa摘要
本文提出了一种神经渲染方法，将场景表示为“压缩光场令牌 (CLiFTs)”，能够保留场景丰富的外观和几何信息。CLiFT 通过压缩令牌实现计算高效的渲染，同时能够通过一个训练好的网络改变令牌数量来表示场景或渲染新视图。具体而言，给定一组图像，多视图编码器利用相机姿态对图像进行令牌化。潜在空间 K 均值聚类利用令牌选择一组缩减后的射线作为聚类中心。多视图“凝聚器”将所有令牌的信息压缩到中心令牌中，以构建 CLiFTs。在测试时，给定一个目标视图和计算预算（即 CLiFTs 的数量），系统会收集指定数量的附近令牌，并使用计算自适应渲染器合成新视图。在 RealEstate10K 和 DL3DV 数据集上进行的大量实验从定量和定性两方面验证了我们的方法，实现了显著的数据缩减，同时保持了可比的渲染质量和最高的整体渲染得分，并在数据大小、渲染质量和渲染速度之间提供了权衡。
我们将3D场景表示为压缩光场令牌（CLiFTs），能够实现可配置计算预算的自适应神经渲染，在渲染速度、表示存储和视觉质量之间提供灵活的权衡。请在项目页面查看演示：https://clift-nvs.github.io/。