UniPre3D：基于跨模态高斯泼溅的三维点云模型统一预训练

点云数据的尺度多样性给开发统一的三维视觉表示学习技术带来了巨大挑战。目前，统一的三维模型很少，并且没有现有的预训练方法对物体级和场景级点云都同样有效。在本文中，我们引入了 UniPre3D，这是第一个可以无缝应用于任何尺度点云和任何架构三维模型的统一预训练方法。我们的方法将预测高斯基元作为预训练任务，并采用可微分高斯泼溅来渲染图像，从而实现精确的像素级监督和端到端优化。为了进一步规范预训练任务的复杂性并引导模型关注几何结构，我们整合了来自预训练图像模型的二维特征，以纳入成熟的纹理知识。我们通过对各种物体级和场景级任务进行广泛实验，并使用不同的点云模型作为骨干网络，验证了我们所提出方法的普遍有效性。代码可在 https://github.com/wangzy22/UniPre3D 获取。