MADrive：记忆增强的驾驶场景建模

场景重建的最新进展推动了使用 3D 高斯泼溅技术对自动驾驶（AD）环境进行高度逼真的建模。然而，由此产生的重建结果仍然与原始观测紧密相关，难以支持显著改变或全新驾驶场景的照片级真实感合成。这项工作介绍了 MADrive，一个内存增强重建框架，旨在通过用从大规模外部内存库中检索到的视觉相似 3D 资产替换观察到的车辆，来扩展现有场景重建方法的能力。具体来说，我们发布了 MAD-Cars，一个包含约 7 万个在野外拍摄的 360 度汽车视频的精选数据集，并提出了一个检索模块，该模块能在内存库中找到最相似的汽车实例，从视频中重建相应的 3D 资产，并通过方向对齐和重新照明将其整合到目标场景中。我们的实验表明，由此产生的替换提供了场景中车辆的完整多视图表示，从而能够实现大幅改变配置的照片级真实感合成。项目页面：https://yandex-research.github.io/madrive/