⏶10
思想的协同：利用最小自由分解改进 LLM CoT
发表
由 
Chenghao Li 提交
Chenghao Li 提交作者: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen
摘要
链式思考 (CoT) 提示通过将问题分解为顺序步骤，模仿人类逻辑并减少错误，从而增强大型语言模型 (LLM) 的推理能力。然而，具有广阔解空间和模糊约束的复杂任务通常超出单个推理链的能力。受交换代数和代数几何中的极小自由分解 (MFR) 的启发，我们提出了思想合冲 (SoT)——一种通过引入辅助的、相互关联的推理路径来扩展 CoT 的新颖框架。SoT 捕捉更深层次的逻辑依赖关系，从而实现更稳健和结构化的解决问题。MFR 将模块分解为具有最小秩的自由模块序列，为复杂系统提供结构化的分析方法。这种方法引入了“模块”、“贝蒂数”、“自由性”、“映射”、“正合性”和“极小性”的概念，从而能够系统地将原始复杂问题分解为逻辑上完整的最小子问题，同时保留关键问题特征并减少推理长度。我们在不同的数据集（例如，GSM8K、MATH）和模型（例如，GPT-4o-mini、Qwen2.5）上测试了 SoT，实现了与主流 CoT 标准相匹配或超越的推理准确率。此外，通过将采样过程与代数约束对齐，我们的方法增强了 LLM 中推理时间的可扩展性，确保了透明的推理和高性能。我们的代码将在 https://github.com/dlMARiA/Syzygy-of-thoughts 公开。
链式思考 (CoT) 提示通过将问题分解为顺序步骤，模仿人类逻辑并减少错误，从而增强大型语言模型 (LLM) 的推理能力。然而，具有巨大解空间和模糊约束的复杂任务通常超出单条推理链的能力。受交换代数和代数几何中极小自由分解 (MFR) 的启发，我们提出了思想协同 (SoT)——一种新颖的框架，通过引入辅助的、相互关联的推理路径来扩展 CoT。SoT 捕捉更深层次的逻辑依赖关系，从而实现更稳健和结构化的解决问题。MFR 将一个模分解为一系列具有最小秩的自由模，为复杂系统提供了一种结构化的分析方法。该方法引入了“模”、“贝蒂数”、“自由性”、“映射”、“正合性”和“极小性”的概念，从而能够将原始复杂问题系统地分解为逻辑上完整的极小子问题，同时保留关键问题特征并减少推理长度。我们在不同的数据集（例如，GSM8K、MATH）和模型（例如，GPT-4o-mini、Qwen2.5）上测试了 SoT，实现了与主流 CoT 标准相当或超越的推理准确率。此外，通过将采样过程与代数约束对齐，我们的方法增强了 LLM 中推理时间的可扩展性，确保了透明的推理和高性能。我们的代码将在 this https URL 公开提供。