一种探究大型语言模型中知识结构模式的图视角

大型语言模型作为神经知识库，因其知识获取、可编辑性、推理和可解释性而得到了广泛研究。然而，很少有研究关注其知识的结构模式。受此启发，我们从图的角度研究这些结构模式。我们在三元组和实体层面量化 LLM 的知识，并分析其与节点度等图结构属性的关系。此外，我们发现了知识同质性，即拓扑上接近的实体表现出相似的知识水平，这进一步促使我们开发图机器学习模型，以基于局部邻居来估计实体知识。该模型通过选择 LLM 较不熟悉的三元组，进一步实现了有价值的知识检查。实证结果表明，使用选定的三元组进行微调可以带来更优越的性能。