FREESON: 基于语料库遍历 MCTS 的无检索器检索增强推理

大型推理模型 (LRMs) 在多步推理和在适当的步骤调用搜索引擎方面展现出卓越的能力。然而，现有的检索增强推理方法依赖于单独的检索模型，将大型推理模型在检索中的作用限制于决定何时检索以及如何查询。这种分离不仅增加了硬件和运营成本，还会导致检索过程中出现错误，这是由于表示瓶颈造成的——即检索器的嵌入空间表达能力不足，无法满足生成器的需求。为了解决这个问题，我们将视角从序列到序列的匹配转移到在语料库中定位包含答案的路径，并提出了一个新的框架，称为 FREESON (Retriever-FREE Retrieval-Augmented ReaSONing)。这个框架使大型推理模型能够通过同时充当生成器和检索器来自行检索相关知识。为了实现这一点，我们引入了一种专门用于检索任务的 MCTS 算法的变体，我们称之为 CT-MCTS (Corpus-Traversing Monte Carlo Tree Search)。在此算法中，大型推理模型遍历语料库朝向包含答案的区域。我们在五个开放域问答基准上取得的结果，包括单跳和多跳问题，表明在 EM 和 F1 指标上，FREESON 相较于四个使用单独检索器的多步推理模型平均提高了 14.4%，并且它也与最强的基线模型表现相当，在 PopQA 和 2WikiMultihopQA 数据集上超过其 3%。