MERIT: 多语言语义检索与交错式多条件查询

语义检索对于现代应用至关重要，但在当前研究中仍未得到充分探索。现有数据集仅限于单一语言、单一图像或单一检索条件，往往未能充分利用视觉信息的表达能力，这从图像被替换为标题后性能仍能保持不变可见一斑。然而，实际检索场景经常涉及交错的多条件查询和多张图像。因此，本文介绍了 MERIT，这是第一个用于交错多条件语义检索的多语言数据集，包含 320,000 个查询，涉及 5 种语言的 135,000 种产品，涵盖 7 个不同的产品类别。在 MERIT 上进行的广泛实验揭示了现有模型的局限性：它们只关注全局语义信息，而忽略了查询中特定的条件元素。为此，我们提出了 Coral，一个新颖的微调框架，通过整合嵌入重建以保留细粒度条件元素，并结合对比学习以提取全面的全局语义，从而适应预训练的 MLLM。实验证明，Coral 在 MERIT 上的性能比传统方法提高了 45.9%，并在 8 个已有的检索基准上验证了其强大的泛化能力。总而言之，我们的贡献——一个新颖的数据集、对现有方法关键局限性的识别以及一个创新的微调框架——为未来交错多条件语义检索的研究奠定了基础。