知识的诞生：大型语言模型中跨时间、空间和尺度的涌现特征

本文研究了解释性类别特征在大语言模型（LLMs）内部的涌现现象，并分析了这些特征在训练检查点（时间）、Transformer 层（空间）和不同模型尺寸（规模）上的行为。我们使用稀疏自编码器进行机制可解释性研究，以确定特定语义概念何时何地在神经激活中涌现。结果表明，在多个领域中，特征的涌现存在清晰的时间和规模特定的阈值。值得注意的是，空间分析揭示了意外的语义再激活现象，即早期层特征在后期层重新出现，这对关于 Transformer 模型中表征动力学的标准假设提出了挑战。