用于无监督语义场景补全的前馈 SceneDINO

语义场景补全（SSC）旨在从单张图像中推断出场景的3D几何形状和语义。与先前严重依赖昂贵地面实况标注的SSC工作不同，我们以无监督方式处理SSC。我们新颖的方法SceneDINO，将自监督表示学习和2D无监督场景理解的技术应用于SSC。我们的训练完全利用多视图一致性自监督，无需任何形式的语义或几何地面实况。给定单个输入图像，SceneDINO以前馈方式推断出3D几何形状和富有表现力的3D DINO特征。通过一种新颖的3D特征蒸馏方法，我们获得了无监督的3D语义。在3D和2D无监督场景理解方面，SceneDINO均达到了最先进的分割精度。对我们的3D特征进行线性探测，其分割精度与当前一种有监督SSC方法相当。此外，我们展示了SceneDINO的域泛化能力和多视图一致性，为单图像3D场景理解的强大基础迈出了第一步。