大语言模型的地理空间机理可解释性

大型语言模型（LLMs）在各种自然语言处理任务中展现出了前所未有的能力。它们处理和生成可用文本和代码的能力使其在许多领域无处不在，而将它们部署为知识库和“推理”工具仍然是一个持续研究的领域。在地理学领域，越来越多的文献开始关注评估LLMs的地理知识及其执行空间推理的能力。然而，关于这些模型的内部运作，特别是它们如何处理地理信息，我们知之甚少。在本章中，我们建立了一个研究地理空间机械可解释性的新颖框架——使用空间分析来逆向工程LLMs如何处理地理信息。我们的目标是深化对这些复杂模型在处理地理信息时生成的内部表示的理解——如果这种说法不是过度的拟人化，我们可以称之为“LLMs如何思考地理信息”。我们首先概述了探测（probing）在揭示LLMs内部结构中的用途。然后，我们介绍了机械可解释性领域，讨论了叠加假说（superposition hypothesis）以及稀疏自编码器在将LLMs的多义性内部表示解耦为更具可解释性的、单义性特征中的作用。在我们的实验中，我们使用空间自相关性来展示地名特征如何呈现与其地理位置相关的空间模式，从而可以在地理空间上进行解释，为这些模型如何处理地理信息提供了见解。最后，我们讨论了我们的框架如何帮助塑造地理学中基础模型的研究和使用。