jina-reranker-v3:用于文档重排的最后但并非最晚的交互

发表
Han XiaoHan Xiao 提交
作者: Feng Wang, Yuqing Li, Han XiaoHan Xiao

摘要

AI 生成总结
一种使用因果自注意力机制的多语言文档重排序器,以紧凑的架构实现了最先进的性能。
jina-reranker-v3 是一个 0.6B 参数的多语言文档重排序器,它引入了一种新颖的“最后但并非迟到的”交互方式。与 ColBERT 等执行单独编码然后进行多向量匹配的后期交互模型不同,我们的方法在同一个上下文窗口内,对查询和文档进行因果自注意力计算,从而在从每个文档的最后一个 token 提取上下文嵌入之前,实现丰富的跨文档交互。这种紧凑的架构在 BEIR 性能上达到了 61.94 nDCG@10 的最先进水平,同时其模型大小比生成式列表重排序器小十倍。
查看 arXiv 页面查看 PDF

评论

Han XiaoHan Xiao
论文作者
论文提交者

我们最新一代的 reranker 模型

Ritvik RastogiRitvik Rastogi

您好,这项工作非常出色!

我需要一个澄清,在第 5 页,双匹配损失 ℓdual 的公式被引用为 Eq.,但没有 Eq 4,而且链接指向第 4 页。

Han XiaoHan Xiao
论文作者
论文提交者

谢谢,确认这是一个拼写错误,将在 arXiv 的下一个版本中进行修复。