语言模型的混合架构：系统分析和设计见解

大型语言模型（LLM）的最新进展表明，混合架构——结合自注意力机制和像 Mamba 这样的结构化状态空间模型——可以在建模质量和计算效率之间取得令人信服的平衡，尤其是在长上下文任务中。尽管这些混合模型表现出良好的性能，但其混合策略的系统性比较以及对其有效性背后关键因素的分析尚未在社区中清晰共享。在这项工作中，我们对基于层间（顺序）或层内（并行）融合的混合架构进行了全面评估。我们从多个角度评估这些设计：语言建模性能、长上下文能力、缩放分析以及训练和推理效率。通过研究其计算原语的核心特征，我们确定了每种混合策略最关键的要素，并为混合模型提出了最佳设计方案。我们全面的分析为开发混合语言模型提供了实用的指导和宝贵的见解，有助于优化架构配置。