⏶8
Triangle Splatting+: 具有不透明三角形的可微分渲染
发表
由 
Renaud Vandeghen 提交
Renaud Vandeghen 提交作者: Jan Held, Renaud Vandeghen, Sanghyun Son, Daniel Rebain, Matheus Gadelha, Yi Zhou, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
摘要
AI 生成总结
Triangle Splatting+ 在可微分框架内优化三角形，以实现实时、高保真的 3D 场景重建和新视角合成，并与标准图形引擎兼容。近年来，三维场景重建和新视角合成取得了飞速发展。神经辐射场（Neural Radiance Fields）证明了连续体积辐射场可以实现高质量的图像合成，但其漫长的训练和渲染时间限制了其实用性。三维高斯泼溅（3D Gaussian Splatting，3DGS）通过用数百万个高斯点表示场景，解决了这些问题，实现了实时渲染和快速优化。然而，高斯点图元与 VR 头戴设备和实时图形应用中使用的基于网格的流水线不兼容。现有的解决方案试图通过后处理或两阶段流水线将高斯点转换为网格，这增加了复杂性并降低了视觉质量。在这项工作中，我们引入了 Triangle Splatting+，它在一个可微分的泼溅框架内直接优化计算机图形的基本图元——三角形。我们对三角形参数化进行公式化，以实现通过共享顶点进行连接，并设计了一种强制要求不透明三角形的训练策略。最终输出可直接用于标准图形引擎，无需后处理。在 Mip-NeRF360 和 Tanks & Temples 数据集上的实验表明，Triangle Splatting+ 在基于网格的新视角合成方面取得了最先进的性能。我们的方法在视觉保真度上超越了先前的高斯泼溅方法，同时保持了训练的高效性和速度。此外，生成的半连接网格支持下游应用，如基于物理的模拟或交互式漫游。项目页面为 https://trianglesplatting2.github.io/trianglesplatting2/。
近年来，3D场景重建和新视角合成取得了飞速进展。神经辐射场（Neural Radiance Fields）证明了连续体积辐射场可以实现高质量的图像合成，但其漫长的训练和渲染时间限制了其实用性。3D高斯泼溅（3D Gaussian Splatting，3DGS）通过使用数百万个高斯点来表示场景，解决了这些问题，实现了实时渲染和快速优化。然而，高斯基元与VR头显和实时图形应用程序中使用的基于网格的管线不兼容。现有解决方案尝试通过后处理或两阶段管线将高斯点转换为网格，这增加了复杂性并降低了视觉质量。在本工作中，我们提出了Triangle Splatting+，它直接在一个可微分的泼溅框架中优化计算机图形的基本基元——三角形。我们提出了三角形参数化，以通过共享顶点实现连接性，并设计了一种强制不透明三角形的训练策略。最终输出可直接用于标准图形引擎，无需后处理。在Mip-NeRF360和Tanks & Temples数据集上的实验表明，Triangle Splatting+在基于网格的新视角合成方面取得了最先进的性能。我们的方法在视觉保真度方面优于先前的方法，同时保持了高效和快速的训练。此外，所得的半连接网格支持物理模拟或交互式漫游等下游应用。