基于重排的生成用于无偏视角摘要

在政治视角摘要等真实世界环境中生成无偏摘要仍然是大型语言模型（LLMs）的一项关键应用。然而，现有评估框架依赖于传统指标来衡量覆盖率和忠实度等关键属性，却未验证其适用性，并且开发改进型摘要器的工作仍处于起步阶段。我们通过以下方式解决了这些空白：(1) 确定用于衡量视角摘要质量的可靠指标；(2) 调查LLM方法超越零样本推理的有效性。具体而言，我们建立了一个用于基准测试指标可靠性的测试集，并使用人工标注，结果表明传统指标表现不及基于语言模型的指标，后者被证明是强大的评估器。利用这些指标，我们发现基于重排的方法能产生良好的结果，而使用合成生成和重排标注数据进行偏好调优则能进一步提升性能。我们的研究结果旨在为视角摘要方法的可靠评估和开发做出贡献。