EarthCrafter：基于双稀疏潜在扩散的可扩展3D地球生成

尽管最近的3D生成工作取得了显著进展，但将这些方法扩展到地理范围，例如对数千平方公里的地球表面进行建模，仍然是一个悬而未决的挑战。我们通过数据基础设施和模型架构的双重创新来解决这个问题。首先，我们推出了迄今为止最大的3D航空数据集Aerial-Earth3D，它包含5万个精选场景（每个场景测量600米x 600米），覆盖美国本土，由4500万张多视图Google Earth帧组成。每个场景提供姿态标注的多视图图像、深度图、法线、语义分割和相机姿态，并进行明确的质量控制以确保地形多样性。在此基础上，我们提出了EarthCrafter，一个通过稀疏解耦潜在扩散进行大规模3D地球生成的定制框架。我们的架构将结构和纹理生成分开：1）双稀疏3D-VAE将高分辨率几何体素和纹理2D高斯溅射（2DGS）压缩到紧凑的潜在空间中，大大减轻了因广阔地理尺度而导致的昂贵计算，同时保留了关键信息。2）我们提出了在混合输入（语义、图像或两者皆无）上训练的条件感知流匹配模型，以灵活地独立建模潜在几何和纹理特征。大量实验表明，EarthCrafter在超大规模生成方面表现显著更佳。该框架还支持多种应用，从语义引导的城市布局生成到无条件地形合成，同时通过我们来自Aerial-Earth3D的丰富数据先验保持地理合理性。我们的项目页面可在https://whiteinblue.github.io/earthcrafter/访问