好的自然语言提示有哪些特点？

随着大型语言模型（LLM）朝着更类人化的方向发展，以及人机交互变得普遍，提示（prompting）已成为一个决定性组成部分。然而，对于自然语言提示（natural language prompts）究竟如何量化，目前缺乏概念上的共识。我们试图通过对来自 2022 年至 2025 年领先的自然语言处理（NLP）和人工智能（AI）会议以及博客的 150 多篇提示相关论文进行元分析来解决这个问题。我们提出了一个以属性和人类为中心的提示质量评估框架，该框架包含分为六个维度的 21 个属性。接着，我们考察了现有研究如何评估这些属性对 LLM 的影响，揭示了它们在不同模型和任务中支持不平衡，以及存在大量的研究空白。此外，我们分析了高质量自然语言提示中各属性之间的相关性，从而得出提示建议。随后，我们通过实证探索了推理任务中多属性提示的增强，观察到单属性增强通常具有最大的影响。最后，我们发现对属性增强的提示进行指令微调可以产生更好的推理模型。我们的发现为以属性为中心的提示评估和优化奠定了基础，弥合了人机交互之间的差距，并开辟了新的提示研究方向。