FG-CLIP 2：一个双语细粒度视觉语言对齐模型

细粒度的视觉-语言理解需要视觉内容与语言描述之间的精确对齐，而目前模型在这方面的能力仍然有限，特别是在非英语环境中。虽然像CLIP这样的模型在全局对齐方面表现良好，但它们通常难以捕捉物体属性、空间关系和语言表达中的细粒度细节，并且对双语理解的支持有限。为了解决这些挑战，我们引入了FG-CLIP 2，这是一个双语视觉-语言模型，旨在促进英语和中文的细粒度对齐。我们的方法利用了丰富的细粒度监督，包括区域-文本匹配和长标题建模，以及多个判别性目标。我们还引入了文本内部模态对比（TIC）损失，以更好地区分语义相似的标题。FG-CLIP 2在精心策划的大规模英语和中文数据混合集上进行训练，实现了强大的双语性能。为了进行严格的评估，我们提出了一个新的中文多模态理解基准，该基准包含长标题检索和边界框分类。在8个任务的29个数据集上的广泛实验表明，FG-CLIP 2优于现有方法，在两种语言中均取得了最先进的结果。我们发布了模型、代码和基准，以促进未来在双语细粒度对齐方面的研究。