超越一刀切：用于高效NLG评估提示的逆向学习

由于有效输出的多样性，评估自然语言生成 (NLG) 系统具有挑战性。虽然人工评估是黄金标准，但它存在不一致性、缺乏标准化和人口统计学偏差等问题，限制了可复现性。基于 LLM 的评估提供了一种可扩展的替代方案，但对提示设计高度敏感，微小的变化可能导致显著差异。在这项工作中，我们提出了一种逆向学习方法，该方法学习从模型输出到其输入指令的有效逆向映射，从而能够自动生成高效的、针对特定模型的评估提示。我们的方法只需要一个评估样本，并消除了耗时的人工提示工程的需求，从而提高了效率和鲁棒性。我们的工作有助于开辟一个新方向，以实现更鲁棒和高效的基于 LLM 的评估。