注意力机制视角：探索大语言模型处理图结构数据

注意力机制对于大型语言模型（LLM）的成功至关重要，推动了多个领域的重大进展。然而，对于需要强调拓扑连接的图结构数据，与图神经网络（GNN）等采用的固定连接上的消息传递机制相比，它们显得不足。这引发了一个问题：“注意力机制在自然语言环境下应用于图数据时是否会失效？” 受这些观察结果的启发，我们从注意力机制的角度出发，开展了一项实证研究，以探索 LLM 如何处理图结构数据。目标是深入了解 LLM 在图结构上的注意力行为。我们发现了 LLM 如何将注意力应用于图结构数据的独特现象，并分析了这些发现，以改进 LLM 对此类数据的建模能力。我们的主要研究发现如下：1）虽然 LLM 可以识别图数据并捕获文本-节点交互，但由于固有的架构限制，它们难以建模图结构内部的节点间关系。2）LLM 在图节点上的注意力分布与理想的结构模式不一致，这表明它们未能适应图拓扑结构的细微之处。3）全连接注意力和固定连接都不是最优的；它们各自在其应用场景中存在特定的限制。相反，中间状态注意力窗口可以提高 LLM 的训练性能，并在推理阶段无缝过渡到全连接窗口。源代码：https://github.com/millioniron/LLM_exploration{LLM4Exploration}