Squeeze3D:你的3D生成模型骨子里是一个极致的神经网络压缩器

发表
Rishit DagliRishit Dagli 提交
作者: Rishit DagliRishit Dagli, Yushi Guan, Sankeerth Durvasula, Mohammadreza Mofayezi, Nandita Vijaykumar

摘要

我们提出了Squeeze3D,一个新颖的框架,它利用现有预训练3D生成模型学习到的隐式先验知识,以极高的压缩比压缩3D数据。我们的方法通过可训练的映射网络,在预训练编码器和预训练生成模型之间的潜在空间之间建立桥梁。任何表示为网格、点云或辐射场的3D模型,首先通过预训练编码器进行编码,然后转换(即压缩)成高度紧凑的潜在代码。这种潜在代码可以有效地用作网格或点云的极度压缩表示。一个映射网络将压缩后的潜在代码转换到强大生成模型的潜在空间中,然后该生成模型被条件化以重建原始3D模型(即解压缩)。Squeeze3D完全在生成的合成数据上进行训练,不需要任何3D数据集。Squeeze3D架构可以与现有的预训练3D编码器和现有生成模型灵活结合使用。它能灵活支持不同的格式,包括网格、点云和辐射场。我们的实验表明,Squeeze3D对于带纹理网格实现了高达2187倍的压缩比,对于点云实现了55倍,对于辐射场实现了619倍,同时保持了与许多现有方法相当的视觉质量。Squeeze3D仅产生较小的压缩和解压缩延迟,因为它不涉及训练针对特定对象的网络来压缩对象。
查看 arXiv 页面查看 PDF

评论

Rishit DagliRishit Dagli
论文作者
论文提交者

Squeeze3D学习桥接不同模型的潜在空间。这使得我们能够实现极致压缩。

image.png