通过注意力相关性评分增强阿拉伯语文本检索

由于阿拉伯语复杂的形态学、可选的变音符号以及现代标准阿拉伯语 (MSA) 和各种方言的并存，它对自然语言处理 (NLP) 和信息检索 (IR) 构成了特殊的挑战。尽管阿拉伯语在全球的重要性日益增长，但在 NLP 研究和基准资源中，它仍然代表性不足。在本文中，我们提出了一个专为阿拉伯语开发的增强型密集段落检索 (DPR) 框架。我们方法的核心是一种新颖的注意力相关性评分 (ARS) 机制，它用一个自适应评分函数取代了标准的交互机制，从而能更有效地建模问题与段落之间的语义相关性。我们的方法集成了预训练的阿拉伯语语言模型和架构上的改进，以提升检索性能并显著提高在回答阿拉伯语问题时的排名准确率。代码已在 https://github.com/Bekhouche/APR{GitHub} 公开。