用于评估和改进大型语言模型指令遵循的多维约束框架

指令遵循能力评估大型语言模型（LLM）生成符合用户定义约束的输出的能力。然而，现有基准通常依赖模板化的约束提示，这缺乏真实世界使用的多样性，并限制了细粒度的性能评估。为了弥补这一差距，我们提出了一个多维约束框架，该框架包含三种约束模式、四种约束类别和四种难度级别。基于此框架，我们开发了一个自动指令生成管道，该管道执行约束扩展、冲突检测和指令重写，生成了1,200个可代码验证的指令遵循测试样本。我们评估了来自七个模型家族的19个LLM，发现它们在不同约束形式上的性能存在显著差异。例如，平均性能从一级（Level I）的77.67%下降到四级（Level IV）的32.96%。此外，我们通过利用我们的方法生成强化学习数据，展示了其效用，在不降低总体性能的情况下显著提升了指令遵循能力。深入分析表明，这些提升主要源于模型注意力模块参数的修改，这增强了对约束的识别和遵循。代码和数据可在 https://github.com/Junjie-Ye/MulDimIF 获取。