机器的语用心智：追溯大型语言模型中语用能力的涌现

当前的大型语言模型 (LLM) 在社会智能任务中展现出了新兴能力，包括隐含意义解析 (Sravanthi et al. (2024)) 和心智理论推理 (Shapira et al. (2024))，这两者都需要大量的语用理解。然而，LLM 在整个训练过程中如何习得这种能力仍未得到很好的理解。在这项工作中，我们引入了 ALTPRAG，这是一个基于语用学中替代概念构建的数据集，旨在评估处于不同训练阶段的 LLM 是否能准确推断细微的说话者意图。每个实例都配对了两段在上下文上合适但在语用上不同的延续，从而能够对语用解释和对比推理进行细粒度的评估。我们系统地评估了跨越关键训练阶段（预训练、监督微调 (SFT) 和偏好优化）的 22 个 LLM，以考察语用能力的发展。我们的结果表明，即使是基础模型也对语用线索表现出显著的敏感性，并且随着模型和数据规模的增加而持续提高。此外，SFT 和 RLHF 带来了进一步的提升，特别是在认知语用推理方面。这些发现强调了语用能力是 LLM 训练的一种涌现和组合属性，并为使模型与人类交流规范对齐提供了新的见解。