LazyReview：一个用于揭示NLP同行评审中惰性思维的数据集

同行评审是科学出版质量控制的基石。随着工作量的增加，无意中使用“快速”启发式方法（称为惰性思考）已成为一个反复出现的问题，损害了评审质量。检测此类启发式方法的自动化方法可以帮助改进同行评审过程。然而，关于这个问题的 NLP 研究有限，并且没有真实世界的数据集来支持检测工具的开发。这项工作介绍了 LazyReview，这是一个同行评审句子数据集，其中注释了细粒度的惰性思考类别。我们的分析表明，大型语言模型 (LLM) 在零样本设置中难以检测到这些实例。然而，在我们数据集上进行基于指令的微调显著提高了 10-20 个性能点，突出了高质量训练数据的重要性。此外，一项受控实验表明，使用惰性思考反馈修订的评审比没有此类反馈编写的评审更全面和更具可操作性。我们将发布我们的数据集和增强的指南，这些指南可用于培训社区中的初级评审员。（代码在此处可用：https://github.com/UKPLab/arxiv2025-lazy-review）