⏶4
MAESTRO:用于多模态、多时相和多光谱地球观测数据的掩码自编码器
发表
由
Anatol Garioud 提交

作者: Antoine Labatie, Michael Vaccaro, Nina Lardiere,
Anatol Garioud, Nicolas Gonthier

摘要
自监督学习在遥感领域前景广阔,但标准的自监督方法必须适应地球观测数据独有的特性。我们通过对多模态、多时相和多光谱地球观测数据的融合策略和重建目标归一化方案进行全面基准测试,朝着这个方向迈出了一步。根据我们的发现,我们提出了MAESTRO,这是Masked Autoencoder的一种新颖改编,具有优化的融合策略和量身定制的目标归一化方案,该方案引入了光谱先验作为自监督信号。在四个地球观测数据集上进行评估,MAESTRO在强烈依赖多时相动态的任务上树立了新的最先进技术,同时在由单一单时相模态主导的任务上保持高度竞争力。重现我们所有实验的代码可在https://github.com/ignf/maestro获取。

我们提出了MAESTRO,这是掩码自编码器在地球观测领域的一种新颖适应。它引入了优化的多模态融合策略和基于光谱先验的归一化方案作为自监督。在四个地球观测数据集上,MAESTRO在时间动态任务上取得了最先进的成果,并在其他方面也保持了高度竞争力。
数据集已在我们的组织页面上提供,代码是公开的,模型也将很快发布。