⏶8
Snap-Snap：用两张图像在毫秒内重建三维人体高斯
发表
由 
taoranyi 提交
taoranyi 提交作者: Jia Lu, Taoran Yi, Jiemin Fang, Chen Yang, Chuiyun Wu, Wei Shen, Wenyu Liu, Qi Tian, Xinggang Wang
Taoran Yi, Jiemin Fang, Chen Yang, Chuiyun Wu, Wei Shen, Wenyu Liu, Qi Tian, Xinggang Wang摘要
从稀疏视图重建3D人体是一个引人入胜的话题，
这对于拓宽相关应用至关重要。在本文中，我们提出了
一个相当具有挑战性但有价值的任务，即仅从
两个图像（即前视图和后视图）中重建人体，这可以大大降低用户创建自己的3D数字人类的门槛。
主要挑战在于建立3D一致性和从高度稀疏的输入中恢复缺失信息的困难。
我们重新设计了一个基于基础重建模型的几何重建模型，
即使输入图像的重叠度很低，也能预测一致的点云，并通过海量人体数据进行训练。
此外，我们应用了一个增强算法来补充缺失的颜色信息，
然后可以获得带有颜色的完整人体点云，并将其直接转换为3D高斯球以获得更好的渲染质量。
实验表明，我们的方法可以在单个NVIDIA RTX 4090上以1024x1024的分辨率，
利用两张图像在190毫秒内重建完整的人体，在THuman2.0和跨领域数据集上展示了最先进的性能。
此外，我们的方法即使使用低成本移动设备拍摄的图像也能完成人体重建，降低了数据收集的要求。
演示和代码可在以下网址获取：
https://hustvl.github.io/Snap-Snap/。
从稀疏视图重建 3D 人体是一个吸引人的课题，对于拓宽相关应用至关重要。在本文中，我们提出了一项颇具挑战性但有价值的任务，即仅从两张图像（即正面和背面视图）重建人体，这可以大大降低用户创建自己的 3D 数字人体的门槛。主要挑战在于建立 3D 一致性和从高度稀疏的输入中恢复缺失信息。我们重新设计了一个基于基础重建模型的几何重建模型，即使输入图像的重叠很少，也可以通过大量人类数据训练来预测一致的点云。此外，我们还应用了一个增强算法来补充缺失的颜色信息，然后可以获得带有颜色的完整人体点云，这些点云可以直接转换为 3D 高斯以获得更好的渲染质量。实验表明，我们的方法可以在单个 NVIDIA RTX 4090 上以 1024x1024 的分辨率在 190 毫秒内重建完整的人体，在 THuman2.0 和跨域数据集上展现了最先进的性能。此外，即使使用低成本移动设备拍摄的图像，我们的方法也可以完成人体重建，降低了数据收集的要求。演示和代码可在 https://hustvl.github.io/Snap-Snap/ 找到。