⏶5
引导式解码及其在检索增强生成中的关键作用
发表
由 
Mahmud ElHuseyni 🇵🇸 提交
Mahmud ElHuseyni 🇵🇸 提交作者: Özgür Uğur, Musa Yılmaz, Esra Şavirdi, 
Özay Ezerceli, Mahmut El Huseyni, Selva Taş, 
Reyhan Bayraktar
Özay Ezerceli, Mahmut El Huseyni, Selva Taş, Reyhan Bayraktar摘要
大型语言模型 (LLM) 在各种应用中的集成，推动了对结构化和可靠响应的需求。检索增强生成 (RAG) 系统中的一个关键挑战是确保输出符合预期的格式，同时最大限度地减少幻觉。本研究考察了引导解码在 RAG 系统中的作用，并比较了三种方法：Outline、XGrammar 和 LM Format Enforcer，它们在不同的多轮提示设置（0 轮、1 轮和 2 轮）下进行了评估。通过评估成功率、幻觉率和输出质量，我们深入探讨了它们的性能和适用性。我们的研究结果揭示了多轮交互如何影响引导解码，发现了意外的性能变化，这些变化可以为特定用例的方法选择提供信息。这项工作提高了对 RAG 系统中结构化输出生成的理解，为 LLM 的部署提供了理论见解和实践指导。
本研究探讨了引导式解码如何通过强制结构化输出和减少幻觉来增强检索增强生成（RAG）。它在零轮、一轮和两轮提示设置下比较了三种方法——大纲、XGrammar 和 LM Format Enforcer。通过评估成功率、幻觉率和输出质量，作者们揭示了多轮提示对性能有显著影响，不同的解码策略在不同场景下表现出色。这些见解有助于为结构化、可靠的 RAG 应用选择合适的方法。