⏶46
PATS: 过程级自适应思维模式切换
发表
由 
Yi Wang 提交
Yi Wang 提交作者: Yi Wang, 
Junxiao Liu, 
Shimao Zhang, Jiajun Chen, Shujian Huang
Yi Wang, Junxiao Liu, Shimao Zhang, Jiajun Chen, Shujian Huang摘要
当前的大型语言模型（LLMs）通常对所有问题采用固定（无论是简单还是复杂）的推理策略，而不考虑问题的难度。这种忽视任务和推理过程复杂性差异的做法导致了性能与效率之间的不平衡。现有方法试图实现免训练的快慢思考系统切换来处理不同难度的问题，但受限于粗粒度的解决方案层面策略调整。为解决此问题，我们提出了一种新颖的推理范式：过程级自适应思维模式切换（Process-Level Adaptive Thinking Mode Switching, PATS），它使 LLMs 能够根据每个步骤的难度动态调整其推理策略，从而优化准确性和计算效率之间的平衡。我们的方法将过程奖励模型（PRMs）与集束搜索相结合，并引入渐进模式切换和错误步骤惩罚机制。在不同的数学基准上的实验表明，我们的方法在保持适度的 token 使用量的同时实现了高准确率。本研究强调了过程级、难度感知的推理策略自适应的重要性，为 LLMs 的高效推理提供了宝贵见解。
当前的大型语言模型 (LLMs) 通常对所有问题（无论难易）采用固定的推理策略，或简单或复杂。这种忽视任务和推理过程复杂性差异的做法导致了性能和效率之间的失衡。现有方法尝试实现免训练的快慢思维系统切换来处理不同难度的任务，但受限于粗粒度的解决方案级别策略调整。为了解决这个问题，我们提出了一种新颖的推理范式：过程级自适应思维模式切换 (PATS)，它使 LLMs 能够根据每个步骤的难度动态调整其推理策略，优化准确性和计算效率之间的平衡。我们的方法将过程奖励模型 (PRMs) 与 Beam Search 相结合，并融入了渐进式模式切换和错误步骤惩罚机制。在多样化的数学基准测试上的实验表明，我们的方法在保持中等令牌使用量的同时实现了高准确率。这项研究强调了过程级、难度感知推理策略适应的重要性，为 LLMs 的高效推理提供了有价值的见解。项目可在 https://github.com/NJUNLP/PATS 访问。