3D场景生成综述

3D 场景生成旨在合成具有空间结构、语义意义和逼真度的环境，应用于沉浸式媒体、机器人、自动驾驶和具身智能等领域。基于程序规则的早期方法提供了可扩展性，但多样性有限。深度生成模型（如 GANs、扩散模型）和 3D 表示（如 NeRF、3D Gaussians）的最新进展使得学习真实世界场景分布成为可能，提高了保真度、多样性和视图一致性。扩散模型等最新进展通过将生成重塑为图像或视频合成问题，弥合了 3D 场景合成与逼真度之间的差距。本综述系统地概述了最先进的方法，将其组织成四种范式：程序生成、基于神经 3D 的生成、基于图像的生成和基于视频的生成。我们分析了它们的技术基础、权衡和代表性结果，并回顾了常用的数据集、评估协议和下游应用。最后，我们讨论了生成能力、3D 表示、数据和标注以及评估方面的关键挑战，并概述了包括更高保真度、物理感知和交互式生成以及统一感知-生成模型等有前景的方向。本综述梳理了 3D 场景生成的最新进展，并强调了生成式 AI、3D 视觉和具身智能交叉领域中充满希望的方向。为了追踪正在进行的进展，我们维护一个最新的项目页面：https://github.com/hzxie/Awesome-3D-Scene-Generation。