通过模块社区揭示大型语言模型的认知模式

大型语言模型 (LLM) 通过在科学、工程和社会领域的应用（从科学发现和医学诊断到聊天机器人）带来了重大的进步，从而重塑了我们的世界。尽管它们无处不在且有用，但 LLM 的底层机制仍然隐藏在数十亿个参数和复杂结构中，使得其内部架构和认知过程难以理解。我们通过采用理解生物学中新兴认知的方法并开发一个连接认知技能、LLM 架构和数据集的网络化框架来解决这一差距，从而引领了基础模型分析的范式转变。模块社区中的技能分布表明，尽管 LLM 与特定生物系统中观察到的焦点化专业化不完全平行，但它们表现出独特的模块社区，其新兴技能模式部分反映了在鸟类和小型哺乳动物大脑中看到的分布式但相互连接的认知组织。我们的数值结果突显了生物系统与 LLM 之间的关键差异，即技能习得大大受益于动态的跨区域交互和神经可塑性。通过将认知科学原理与机器学习相结合，我们的框架为 LLM 可解释性提供了新的见解，并表明有效的微调策略应利用分布式学习动态，而不是僵化的模块干预。