从真实到合成：利用带有属性的对齐合成数百万条多样化且复杂的用户指令

追求多样、复杂和大规模的指令数据对于自动对齐大型语言模型（LLM）至关重要。虽然有些方法能够大规模生成合成指令，但它们要么受限于有限的 grounding 源，导致分布狭窄，要么依赖于琐碎的扩展，无法在复杂性方面产生有意义的轨迹。相比之下，有利于高效对齐的指令通常精心设计以融入认知洞察，并基于真实世界的用例。在本文中，我们使用属性 grounding 合成此类指令，这包括 1) 一个自上而下的归因过程，将一组精选的真实指令 grounding 到具体用户；2) 一个自下而上的合成过程，利用网络文档首先生成一个情境，然后生成一条有意义的指令。这个框架允许我们利用大量的网络文档大规模收集多样和复杂的指令。具体来说，我们构建了一个包含 100 万条指令的数据集，称为 SynthQuestions，并证明使用该数据集训练的模型在几个常用基准上取得了领先性能，并且随着更多网络语料的加入，改进持续扩展。数据、模型和代码将在 https://github.com/Ignoramus0817/SynthQuestions 提供。