StreamSplat：迈向基于未校准视频流的在线动态三维重建

从未知校准的视频流中实时重建动态3D场景对于众多现实世界应用至关重要。然而，现有方法难以同时解决三个关键挑战：1）实时处理未知校准的输入，2）准确建模动态场景演变，以及3）保持长期稳定性和计算效率。为此，我们引入了StreamSplat，这是第一个完全前馈的框架，它能够在线地将任意长度的未知校准视频流转换为动态3D高斯泼溅（3DGS）表示，并能够从时间局部观测中恢复场景动态。我们提出了两项关键技术创新：静态编码器中用于3DGS位置预测的概率采样机制，以及动态解码器中的双向形变场，该形变场能够实现鲁棒且高效的动态建模。在静态和动态基准上的大量实验表明，StreamSplat在重建质量和动态场景建模方面始终优于现有工作，同时独特地支持任意长度视频流的在线重建。代码和模型可查阅：https://github.com/nickwzk/StreamSplat。