⏶37
Skyfall-GS：从卫星影像合成沉浸式三维城市景观
发表
由 
taesiri 提交
taesiri 提交作者: 
Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu
Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu摘要
AI 生成总结
Skyfall-GS 使用卫星图像和扩散模型创建大规模、高质量的 3D 城市场景，提供实时探索以及几何和纹理一致性的提升。合成大规模、可探索且几何准确的 3D 城市场景是一项挑战性但有价值的任务，可为沉浸式和具身应用提供支持。挑战在于缺乏大规模、高质量的真实世界 3D 扫描数据来训练可泛化的生成模型。在本文中，我们采用另一种方法来创建大规模 3D 场景，通过协同利用易于获取的卫星图像（提供逼真的粗略几何结构）和开放域扩散模型（用于创建高质量的近景外观）。我们提出了 Skyfall-GS，这是第一个无需昂贵 3D 注释即可进行城市街区尺度 3D 场景创建的框架，同时还提供实时、沉浸式的 3D 探索功能。我们定制了一种课程驱动的迭代细化策略，以逐步增强几何完整性和照片级真实感纹理。大量实验表明，与最先进的方法相比，Skyfall-GS 提供了更优的跨视图一致几何结构和更逼真的纹理。项目主页：https://skyfall-gs.jayinnn.dev/
TL;DR：Skyfall-GS 使用扩散模型将卫星图像转换为可探索的 3D 城市场景，并具备实时渲染性能。