对齐如何增强大型语言模型的跨语言能力？一个语言神经元的视角

多语言对齐是增强大型语言模型（LLMs）多语言能力的一种有效且具有代表性的范式，它将能力从高资源语言转移到低资源语言。同时，一些关于语言特异性神经元的研究表明，LLMs在处理不同语言时会选择性激活语言特异性神经元。这为在多语言场景下更具体地分析和理解LLMs的机制提供了新的视角。在这项工作中，我们提出了一种新的更细粒度的神经元识别算法，该算法可以检测语言神经元（包括语言特异性神经元和语言相关神经元）以及与语言无关的神经元。此外，基于不同类型神经元的分布特征，我们将LLMs进行多语言推理的内部过程分为四个部分：（1）多语言理解，（2）共享语义空间推理，（3）多语言输出空间转换，以及（4）词汇空间输出。此外，我们系统地分析了对齐前后模型中不同类型神经元的表现。我们还分析了“自发多语言对齐”现象。总的来说，我们的工作基于不同类型的神经元进行了全面调查，提供了实证结果和有价值的见解，以更好地理解多语言对齐和LLMs的多语言能力。