CAT：因果注意力调优，用于将细粒度的因果知识注入大型语言模型

大型语言模型（LLM）在各个领域都取得了显著的成功。然而，一个基本问题仍然存在：LLM能否有效地利用因果知识进行预测和生成？通过实证研究，我们发现直接在海量数据上训练的LLM往往捕捉到的是虚假相关，而不是真实的因果关系，这导致性能不佳，尤其是在分布外（OOD）场景下。为了应对这一挑战，我们提出了因果注意力调优（CAT），这是一种新颖的方法，将细粒度的因果知识注入注意力机制。我们提出了一种自动化流程，该流程利用人类先验知识自动生成 token 级别的因果信号，并引入重注意力机制来指导训练，帮助模型专注于因果结构，同时减轻注意力得分中的噪声和偏差。在我们的Spurious Token Game（STG）基准和多个下游任务上的实验结果表明，我们的方法有效地利用了因果知识进行预测，并且在OOD场景下保持稳健。实现细节可以在 https://github.com/Kairong-Han/CAT 找到。