DREAM：基于自回归建模的密集检索嵌入

稠密检索嵌入模型是现代基于检索的人工智能系统的基础组件。大多数稠密检索器使用对比目标进行训练，这需要昂贵且难以获得的标记正负文档对。在这项工作中，我们研究了大型语言模型（LLM）的自回归下一个词预测目标是否能为稠密检索提供监督。直觉很简单：如果文档包含与查询相关的信息，那么以该文档为条件应该使目标输出更容易被 LLM 预测。一个关键挑战是下一个词预测损失是在 LLM 内部计算的，而检索器是一个单独的嵌入模型。为了解决这个问题，我们提出了 DREAM（通过自回归建模的稠密检索嵌入），它将检索器生成的查询-文档相似度分数注入到冻结 LLM 的选定注意力头中。在训练过程中，当 LLM 预测目标输出时，这些分数决定了每个候选文档接收到的注意力权重。由此产生的预测损失通过注意力机制为检索器训练提供梯度。我们在使用 0.5B 到 3B 参数的嵌入骨干网的检索基准 BEIR 和 RTEB 上评估了 DREAM。DREAM 在不同模型规模下持续优于现有的基准方法。这些结果表明，DREAM 提供了一种通过自回归建模训练稠密检索器的有效方法。