AI论文精选
⏶9

CGGS：用于以自我为中心的3D场景生成的一致性增强几何高斯泼溅

发表
由 Zhenyu SunZhenyu Sun 提交
作者: Zhenyu SunZhenyu Sun, Xiaohan Zhang, Qi Liu, Huan Wang

摘要

AI 生成总结
CGGS 是一种文本到 3D 框架，通过包含以自我为中心的生成、布局装饰和几何细化的多阶段方法，增强了 3D 内容感知并解决了几何失真问题。
以自我为中心的3D场景生成仍然面临挑战，原因在于视图重叠有限以及个体视角对场景解释的主导影响。这些因素阻碍了视图一致和语义对齐的视觉内容的创建，以及精确几何结构的构建。在本文中，我们提出了CGGS，一个文本到3D框架，旨在增强以自我为中心场景生成中的3D内容感知并解决几何失真。首先，通过使用一致性增强损失对多视图潜在扩散模型进行微调，提出了以自我为中心的生成器，以生成与文本描述一致的高保真2D内容。然后，布局装饰器利用光流和点跟踪对应关系来估计深度，从而从以自我为中心的2D先验中生成密集的点云作为粗略布局。在此初始化基础上，提出了几何细化器，通过基于熵的互信息深度损失（MID）结合分层优化方案来增强3D高斯重建，以提高视觉质量和几何结构。综合实验表明，CGGS在生成连贯准确的文本驱动3D场景方面优于现有方法。项目页面：https://cggs-26.github.io/cggs26/。
查看 arXiv 页面查看 PDF
CGGS：用于以自我为中心的3D场景生成的一致性增强几何高斯泼溅
CGGS：用于以自我为中心的3D场景生成的一致性增强几何高斯泼溅

评论

Zhenyu SunZhenyu Sun
论文作者
论文提交者

代码可在以下链接获取：https://github.com/CGGS-26/CGGS

Zhenyu SunZhenyu Sun
论文作者
论文提交者

由于视角重叠有限以及个体视角对场景解释的主导影响，以自我为中心的3D场景生成仍面临挑战。这些因素阻碍了视角一致且语义对齐的视觉内容的创建，以及精确几何结构的构建。在本文中，我们提出了CGGS，一个文本到3D的框架，旨在增强3D内容感知并解决以自我为中心的场景生成中的几何畸变问题。首先，通过使用一致性增强损失对多视图潜在扩散模型进行微调，提出了一种以自我为中心的生成器，用于生成与文本描述对齐的一致、高保真2D内容。接着，布局装饰器（Layout Decorator）利用光流和点跟踪对应关系来估计深度，从而从以自我为中心的2D先验中生成密集的点云作为粗略布局。在此初始化基础上，提出了几何精炼器（Geometric Refiner），通过结合基于熵的互信息深度损失（MID）和分层优化方案来增强3D高斯重建，以提高视觉质量和几何结构。全面实验表明，CGGS在生成连贯、准确的文本驱动3D场景方面优于现有方法。