GENIE：高斯编码用于神经辐射场交互式编辑

神经辐射场（NeRF）和高斯泼溅（GS）最近彻底改变了三维场景表示和渲染。NeRF 通过神经网络学习体积表示，实现了高保真度的视点合成，但其隐式编码使得编辑和物理交互变得困难。相比之下，GS 将场景表示为高斯基元体的显式集合，从而实现了实时渲染、更快的训练和更直观的操作。这种显式结构使得 GS 特别适合交互式编辑和与基于物理的模拟相结合。在本文中，我们介绍了 GENIE（用于神经辐射场交互式编辑的高斯编码），这是一种混合模型，它结合了 NeRF 的照片级渲染质量与 GS 的可编辑和结构化表示。我们不使用球谐函数进行外观建模，而是为每个高斯分配一个可训练的特征嵌入。这些嵌入用于根据每个查询点最近的 k 个高斯来条件化 NeRF 网络。为了使这种条件化高效，我们引入了光线追踪高斯邻近搜索（RT-GPS），这是一种基于修改后的光线追踪管道的快速最近高斯搜索。我们还集成了多分辨率哈希网格来初始化和更新高斯特征。这些组件共同实现了实时、局部感知编辑：当高斯基元被重新定位或修改时，它们的插值影响会立即反映在渲染输出中。通过结合隐式和显式表示的优点，GENIE 支持直观的场景操作、动态交互以及与物理模拟的兼容性，弥合了基于几何的编辑和神经渲染之间的鸿沟。代码可在 (https://github.com/MikolajZielinski/genie) 找到。