⏶25
CoT 百科全书：分析、预测和控制推理模型如何思考
发表
由 
seongyun_lee 提交
seongyun_lee 提交作者: Seongyun Lee, 
Seungone Kim, 
Minju Seo, 
Yongrae Jo, Dongyoung Go, 
Hyeonbin Hwang, 
Jinho Park, Xiang Yue, 
Sean Welleck, 
Graham Neubig, Moontae Lee, 
Minjoon Seo
Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo摘要
长链式思索 (CoT) 是有效使用现代大型语言模型的关键要素，但我们对这些能力背后的推理策略的理解仍然有限。虽然先前的一些工作试图使用预定义的策略类型来分类 CoT，但这些方法受限于人类直觉，未能捕捉到模型行为的全部多样性。在这项工作中，我们引入了 CoT 百科 (CoT Encyclopedia)，这是一个用于分析和指导模型推理的自下而上 (bottom-up) 框架。我们的方法自动从模型生成的 CoT 中提取多样化的推理标准，将它们嵌入到语义空间中，聚类成具有代表性的类别，并导出对比式评分标准 (contrastive rubrics) 来解释推理行为。人工评估表明，该框架比现有方法产生了更具可解释性和更全面的分析。此外，我们证明了这种理解能够带来性能提升：我们可以预测模型可能使用哪种策略，并将其引导到更有效的替代方案。最后，我们提供了一些实用的见解，例如，训练数据格式（如自由文本 vs. 多项选择）对推理行为的影响远大于数据领域，这突显了格式感知型模型设计的重要性。
摘要：长链式思考 (CoT) 是有效使用现代大型语言模型的关键要素，但我们对支撑这些能力的推理策略的理解仍然有限。虽然一些先前的工作试图使用预定义的策略类型来分类 CoT，但这些方法受限于人类直觉，未能捕捉到模型行为的全部多样性。在这项工作中，我们引入了 CoT 百科，这是一个用于分析和指导模型推理的自下而上的框架。我们的方法自动从模型生成的 CoT 中提取多样化的推理标准，将它们嵌入到语义空间中，聚类成代表性类别，并推导出对比性评估标准来解释推理行为。人类评估表明，该框架比现有方法产生了更具可解释性和更全面的分析。此外，我们证明这种理解能够带来性能提升：我们可以预测模型可能使用哪种策略，并引导它转向更有效的替代方案。最后，我们提供了实践性见解，例如训练数据的格式（例如，自由形式与多项选择）对推理行为的影响远大于数据领域，强调了格式感知模型设计的重要性。