⏶3
EquivPruner：通过动作剪枝提升基于LLM的搜索的效率和质量
发表
由 
Jiawei Liu 提交
Jiawei Liu 提交作者: Jiawei Liu, Qisi Chen, 
Jianshu Zhang, Quan Liu, 
Defu Lian
Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian摘要
大语言模型（LLMs）擅长通过搜索算法进行复杂推理，然而，现有策略往往因冗余探索语义等效步骤而面临大量的token消耗问题。现有的语义相似性方法难以在数学推理等领域特定的语境中准确识别这种等效性。为了解决这个问题，我们提出了 EquivPruner，这是一种简单但有效的方法，用于在 LLM 推理搜索过程中识别并修剪语义等效的行动。我们还引入了 MathEquiv，这是我们创建的第一个用于数学陈述等效性的数据集，它使得训练一个轻量级的等效性检测器成为可能。在各种模型和任务上进行的广泛实验表明，EquivPruner 显著减少了 token 消耗，提高了搜索效率，并通常提升了推理准确性。例如，当应用于 GSM8K 上的 Qwen2.5-Math-7B-Instruct 时，EquivPruner 将 token 消耗减少了 48.1\%，同时提高了准确性。我们的代码可在 https://github.com/Lolo1222/EquivPruner 获取。
评论
Jiawei Liu论文作者
论文提交者
大型语言模型（LLMs）擅长通过搜索算法进行复杂推理，然而，目前的策略常常因为对语义等效步骤的冗余探索而导致大量的 token 消耗。现有的语义相似性方法难以在数学推理等特定领域语境中准确识别这种等效性。为了解决这个问题，我们提出了 EquivPruner，这是一种简单而有效的方法，用于在 LLM 推理搜索过程中识别并修剪语义等效的操作。我们还引入了 MathEquiv，这是我们创建的第一个用于数学语句等效性的数据集，可以用于训练一个轻量级的等效性检测器。在各种模型和任务上的大量实验表明，EquivPruner 显著减少了 token 消耗，提高了搜索效率，并常常提升了推理准确性。例如，当应用于 GSM8K 上的 Qwen2.5-Math-7B-Instruct 时，EquivPruner 将 token 消耗减少了 48.1\%，同时还提高了准确性。我们的代码可在 https://github.com/Lolo1222/EquivPruner 获取。
我们热烈欢迎与 EquivPruner 相关的贡献和讨论！如果您有任何改进建议或希望讨论的想法，请随时在 github 上评论或提交 issue。这将使我们能够详细协作和讨论您的想法。