大型语言模型能否捕捉人类标注者的分歧？

人工标注差异（即标注分歧）在自然语言处理（NLP）中很常见，并且通常反映重要信息，例如任务主观性和样本歧义。尽管大型语言模型（LLM）正越来越多地用于自动化标注以减少人工工作量，但它们的评估通常侧重于预测多数投票的“黄金标准”标签。然而，目前尚不清楚这些模型是否也能捕捉到信息丰富的人工标注差异。我们的工作通过广泛评估LLM在不访问重复人工标签的情况下预测标注分歧的能力，从而弥补了这一空白。我们的结果表明，LLM在建模分歧方面存在困难，这可能被基于多数标签的评估所忽视。值得注意的是，尽管RLVR风格（可验证奖励的强化学习）的推理通常能提升LLM性能，但它在分歧预测方面却降低了性能。我们的发现强调了在分歧建模方面评估和改进LLM标注器的迫切需求。代码和数据可在 https://github.com/EdisonNi-hku/Disagreement_Prediction 获取。