RenderFormer: 基于 Transformer 的带全局光照的三角形网格神经渲染

我们提出了 RenderFormer，一个神经渲染流水线，可以直接从场景的基于三角形的表示渲染图像，具有完整的全局照明效果，并且不需要每场景训练或微调。RenderFormer 不采用基于物理的渲染方法，而是将渲染建模为一个序列到序列的转换，其中表示具有反射属性的三角形序列被转换为表示小块像素的输出 token 序列。RenderFormer 遵循两阶段流水线：视图无关阶段建模三角形到三角形的光传输，以及视图依赖阶段将表示一组光线的 token 转换为相应的像素值，由视图无关阶段的三角形序列引导。两个阶段都基于 Transformer 架构，并在最小先验约束下进行学习。我们在具有不同形状和光传输复杂度的场景上展示和评估了 RenderFormer。