TCIA：面向指令微调的任务中心指令增强方法

多样化的指令数据对于大型语言模型的有效指令微调至关重要，因为它使模型能够泛化到不同类型的输入。构建如此多样化的指令数据集是此过程中的一个基本步骤。现有方法通常利用大型语言模型来自动探索和生成多样化的指令，以确保数据多样性和质量。然而，它们往往忽略了现实世界应用中的一个重要因素：任务相关性。在实践中，很少有现实世界的应用需要一个真正通用的模型；大多数受益于为特定用例量身定制的任务特定知识。因此，开发不仅保持多样性而且针对特定现实世界场景进行优化的指令增强方法至关重要。 因此，我们提出了任务中心指令增强（TCIA）框架，该框架在保持多样性和任务对齐的同时，系统地扩展指令。通过在离散的查询-约束空间中表示指令，TCIA创建了一组丰富的任务相关指令，并使模型能够在不牺牲整体性能的情况下泛化到这些任务特定的指令。实验表明，TCIA在四个现实世界的、特定任务的应用中，平均提高了开源LLM的性能8.7%，在某些情况下甚至优于领先的闭源模型。这些改进并没有损害通用的指令遵循能力，这使得TCIA成为将LLM适应现实世界的、面向任务的应用的可扩展且高效的解决方案。