⏶26
Test3R:学习在测试时重建三维
发表
由
Yuan Yuheng 提交
作者:
Yuheng Yuan,
Qiuhong Shen, Shizun Wang, Xingyi Yang, Xinchao Wang
摘要
像 DUSt3R 这样的密集匹配方法回归成对点图用于 3D 重建。然而,对成对预测的依赖以及有限的泛化能力本质上限制了全局几何一致性。在这项工作中,我们引入了 Test3R,一种出奇简单的测试时学习技术,它显著提高了几何精度。使用图像三元组 (I_1,I_2,I_3),Test3R 从成对 (I_1,I_2) 和 (I_1,I_3) 生成重建。核心思想是在测试时通过一个自监督目标来优化网络:最大化这两个重建相对于共同图像 I_1 的几何一致性。这确保了模型生成与输入无关的跨对一致输出。大量的实验表明,我们的技术在 3D 重建和多视角深度估计任务上显著优于先前的最先进方法。此外,它具有通用性且几乎无成本,易于应用于其他模型,并且只需极少的测试时训练开销和参数占用即可实现。代码可在 https://github.com/nopQAQ/Test3R 获取。
https://test3r-nop.github.io/