Spectrum Projection Score:在检索增强生成中,使检索到的摘要与读者模型对齐

发表
Lin GuiLin Gui 提交
作者: Zhanghao Hu, Qinglin ZhuQinglin Zhu, Siya Qi, Yulan He, Hanqi Yan, Lin GuiLin Gui

摘要

大型语言模型(LLM)通过检索增强生成(RAG)遵循检索器-阅读器范式,用外部检索的知识补充模型输入,从而提高了生成性能。然而,以往的工作通常是整体评估 RAG,联合评估检索器和阅读器,这使得难以分离检索的真正贡献,特别是考虑到用作阅读器的 LLM 对提示的敏感性。我们引入了光谱投影分数(SPS),这是一种轻量级、无监督的度量标准,它允许阅读器通过比较从摘要生成的令牌所形成的面积以及阅读器中子空间的主方向来衡量检索到的摘要与其隐藏表示的语义对齐,并衡量相关性。基于 SPS,我们提出了 xCompress,一个推理时间控制器框架,可以动态采样、排序和压缩检索摘要候选。在五个 QA 基准上对四个开源 LLM 进行的广泛实验表明,SPS 不仅提高了各种任务的性能,而且还提供了关于检索和生成之间相互作用的原则性视角。
查看 arXiv 页面查看 PDF

评论

Lin GuiLin Gui
论文作者
论文提交者

一种确定不同语言模型生成内容之间潜在对齐的新方法。