解构注意力：探究有效语言模型的设计原则

Transformer语言模型的成功，很大程度上归功于其点积注意力机制，该机制融合了一系列关键设计原则：跨位置混合信息（实现多词交互）、序列依赖激活（注意力权重适应每个输入）、特定的数学形式（点积相似度加上softmax加权），以及查询和键与不断变化的隐藏状态的耦合（将注意力基础固定在当前层）。然而，这些原则的必要性在很大程度上仍未得到检验。在本工作中，我们通过设计受控的变体来系统地解构注意力，这些变体选择性地放宽了这些原则，这些变体既可以应用于所有层，也可以应用于仅保留标准注意力的混合架构。我们的实证分析表明，混合词元的机制是不可或缺的，因为它们的缺失会导致模型行为接近随机；而精确的数学形式和序列依赖性可以大大放宽，尤其是在仅保留在部分层的情况下。令人惊讶的是，即使单独失效的变体，与标准注意力交错时也能实现稳健的性能，这突显了其协同效应。这些发现加深了我们对注意力有效性真正基础的理解，并为在不牺牲性能的情况下简化语言模型开辟了新途径。