揭示指令特异性神经元与专家：LLM指令遵循能力的分析框架

大型语言模型(LLM)的微调显著提升了其遵循指令的能力，但驱动这些改进的底层计算机制仍知之甚少。本研究通过隔离和分析指令特有的稀疏组件（即密集模型中的神经元以及专家混合模型(MoE)架构中的神经元和专家）来系统地检查微调如何重新配置LLM的计算。特别是，我们引入了HexaInst，一个精心策划且均衡的指令数据集，涵盖六个不同类别，并提出了SPARCOM，一个包含三个关键贡献的新型分析框架：(1) 一种识别这些稀疏组件的方法，(2) 对其功能通用性和唯一性的评估，以及 (3) 对其变化的系统比较。通过实验，我们证明了这些组件在指令执行中的功能通用性、唯一性和关键作用。通过阐明微调引起的适应性与稀疏计算基础之间的关系，这项工作为可靠的LLM社区提供了关于LLM如何内化指令遵循行为的更深层次见解。