⏶11
独立于 LLM 的自适应 RAG：让问题自己说话
发表
由 
Viktor Moskvoretskii 提交
Viktor Moskvoretskii 提交作者: Maria Marina, 
Nikolay Ivanov, Sergey Pletenev, 
Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, 
Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii
Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii摘要
大型语言模型~(LLMs) 容易产生幻觉，而检索增强生成 (RAG) 有助于缓解这一问题，但这需要高昂的计算成本，并存在错误信息的风险。自适应检索旨在仅在必要时进行检索，但现有方法依赖于基于 LLM 的不确定性估计，这仍然效率低下且不切实际。在本研究中，我们引入了基于外部信息的轻量级独立于 LLM 的自适应检索方法。我们研究了 27 种特征，分为 7 组，以及它们的混合组合。我们在 6 个 QA 数据集上评估了这些方法，评估了 QA 性能和效率。结果表明，我们的方法与复杂的基于 LLM 的方法性能相当，同时显著提高了效率，这证明了外部信息在自适应检索中的潜力。
大型语言模型（LLMs）容易产生幻觉，检索增强生成（RAG）有助于缓解这一问题，但计算成本高昂，同时存在错误信息的风险。自适应检索旨在仅在必要时进行检索，但现有方法依赖于基于LLM的不确定性估计，这仍然效率低下且不切实际。在本研究中，我们引入了基于外部信息的轻量级LLM独立自适应检索方法。我们研究了组织成7组的27个特征及其混合组合。我们在6个问答数据集上评估了这些方法，评估了问答性能和效率。结果表明，我们的方法在性能上与复杂的基于LLM的方法相当，同时实现了显著的效率提升，展示了外部信息在自适应检索中的潜力。