DreamScene: 基于3D高斯的端到端文本到3D场景生成

从自然语言生成3D场景在游戏、电影和设计等应用中前景广阔。然而，现有方法在自动化、3D一致性和细粒度控制方面面临挑战。我们提出了DreamScene，这是一个端到端框架，用于从文本或对话生成高质量、可编辑的3D场景。DreamScene首先包含一个场景规划模块，其中一个GPT-4代理推断对象语义和空间约束以构建一个混合图。然后，一个基于图的放置算法生成一个结构化、无碰撞的布局。基于此布局，形成模式采样（FPS）利用多时间步采样和重建优化来生成对象几何形状，从而实现快速逼真的合成。为确保全局一致性，DreamScene采用了一种针对室内外环境量身定制的渐进式相机采样策略。最后，该系统支持细粒度场景编辑，包括对象移动、外观变化和4D动态运动。实验表明，DreamScene在质量、一致性和灵活性方面超越了现有方法，为开放域3D内容创建提供了一个实用的解决方案。代码和演示可在https://jahnsonblack.github.io/DreamScene-Full/获取。