AI论文精选
⏶3

LLM生成的文本解释能否提升模型分类性能？一项实证研究

发表
由 Mahdi DhainiMahdi Dhaini 提交
作者: Mahdi DhainiMahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

摘要

在快速发展的可解释自然语言处理（NLP）领域，文本解释，即类人理由，对于解释模型预测和用可解释标签丰富数据集至关重要。传统方法依赖于人工标注，这成本高昂、劳动密集型且阻碍了可扩展性。在这项工作中，我们提出了一个自动化框架，该框架利用多个最先进的大型语言模型（LLMs）来生成高质量的文本解释。我们使用一套全面的自然语言生成（NLG）指标严格评估这些LLM生成解释的质量。此外，我们研究了这些解释对预训练语言模型（PLMs）和LLMs在两个不同基准数据集上的自然语言推理任务性能的下游影响。我们的实验表明，与人工标注的解释相比，自动化解释在提高模型性能方面表现出极具竞争力的有效性。我们的发现强调了一个有前景的途径，即通过可扩展、自动化的基于LLM的文本解释生成来扩展NLP数据集并增强模型性能。
查看 arXiv 页面查看 PDF

评论

Mahdi DhainiMahdi Dhaini
论文作者
论文提交者

摘要：

在快速发展的可解释自然语言处理（NLP）领域，文本解释，即类人理由，对于解释模型预测和用可解释标签丰富数据集至关重要。传统方法依赖于人工标注，这成本高昂、劳动密集型且阻碍了可扩展性。在这项工作中，我们提出了一个自动化框架，该框架利用多个最先进的大型语言模型（LLMs）来生成高质量的文本解释。我们使用一套全面的自然语言生成（NLG）指标严格评估了这些 LLM 生成解释的质量。此外，我们研究了这些解释对预训练语言模型（PLMs）和 LLMs 在两个不同基准数据集上的自然语言推理任务性能的下游影响。我们的实验表明，与人工标注的解释相比，自动化解释在提高模型性能方面表现出极具竞争力的有效性。我们的研究结果强调了一条有前景的途径，即通过可扩展的、基于 LLM 的自动化文本解释生成，以扩展 NLP 数据集并增强模型性能。