DreamCube：通过多平面同步生成3D全景图

3D全景合成是一项充满前景但具有挑战性的任务，它要求生成的全向内容具有高质量和多样化的视觉外观及几何结构。现有方法利用预训练的2D基础模型中的丰富图像先验知识来规避3D全景数据稀缺的问题，但3D全景图和2D单视图之间的不兼容性限制了它们的有效性。在这项工作中，我们证明通过将多平面同步应用于2D基础模型的算子，可以将其能力无缝扩展到全向领域。基于此设计，我们进一步引入了DreamCube，一个用于3D全景生成的多平面RGB-D扩散模型，它最大程度地重用2D基础模型先验知识，以实现多样化的外观和精确的几何结构，同时保持多视图一致性。广泛的实验证明了我们方法在全景图像生成、全景深度估计和3D场景生成方面的有效性。