⏶19
语境内进化提示：一个开放的、自我复制的视角
发表
由 
Jianyu Wang 提交
Jianyu Wang 提交作者: Jianyu Wang, 
Zhiqiang Hu, 
Lidong Bing
Jianyu Wang, Zhiqiang Hu, Lidong Bing摘要
我们提出了一种新颖的提示设计范例，挑战了大型语言模型 (LLM) 提示中的传统智慧。虽然传统智慧优先考虑精心设计的指令和演示以进行上下文学习 (ICL)，但我们表明，将随机演示修剪成看似不连贯的“胡言乱语”可以显著提高各种任务的性能。值得注意的是，“胡言乱语”始终匹配或超过最先进的自动提示优化技术，无论 LLM 对齐如何，都能实现显著的收益。然而，发现有效的修剪策略并非易事，因为现有的归因方法和提示压缩算法无法提供可靠的结果，更不用说人类的直觉了。就此而言，我们提出了一个自我发现的提示优化框架 PromptQuine，这是一个进化搜索框架，它仅使用低数据机制自动搜索修剪策略。就像自然界中涌现的复杂性——例如共生和自组织——因资源约束而出现一样，我们的框架通过仅利用上下文中存在的标记来发展和完善非常规但非常有效的提示。我们证明了其在跨 LLM 的分类、多项选择问题解答、生成和数学推理任务中的有效性，同时实现了良好的运行时效率。我们希望我们的发现可以指导对上下文学习的机制研究，并提供一个行动号召，为更有效的 LLM 提示的更开放的搜索算法铺平道路。
我们提出了一种 novel 的提示设计范例，该范例挑战了大型语言模型 (LLM) 提示中的传统智慧。虽然传统智慧优先考虑精心设计的指令和演示，以便进行上下文学习 (ICL)，但我们表明，将随机演示修剪成看似不连贯的“胡言乱语”可以显着提高跨各种任务的性能。值得注意的是，“胡言乱语”总是匹配或超越最先进的自动提示优化技术，无论 LLM 对齐如何，都能实现显着收益。然而，发现有效的修剪策略并非易事，因为现有的归因方法和提示压缩算法无法提供稳健的结果，更不用说人类直觉了。为此，我们提出了一个自我发现的提示优化框架 PromptQuine，这是一个进化搜索框架，仅使用低数据机制自动搜索修剪策略。就像自然界中涌现出的复杂性（例如共生和自组织）是响应资源约束而产生的一样，我们的框架仅通过利用上下文中存在的标记来发展和完善非常规但高效的提示。我们证明了它在跨 LLM 的分类、多项选择问答、生成和数学推理任务中的有效性，同时实现了不错的运行时效率。我们希望我们的发现能够指导对上下文学习的机械研究，并发出行动号召，为更有效的 LLM 提示的更开放的搜索算法铺平道路。