不要扔掉你的预训练模型

对齐训练有利有弊：它能帮助语言模型（LM）提高推理和指令遵循能力，但也可能在创造力和校准等技能方面有所损失，而未对齐的基础模型在这方面表现更好。我们旨在通过模型协作，让不同模型在训练流水线中协作并互相补充，从而兼顾两者的优点。由于 LM 的响应通常是交织的技能，不同技能偏向不同的模型，因此我们提出了“开关生成”（Switch Generation）方法，其中预训练和对齐的模型版本轮流在响应序列中“发言”。具体来说，我们通过学习在各种查询和上下文下选择不同模型生成下一片段的结果来训练一个开关 LM。在推理时，开关 LM 会指导不同的模型检查点动态生成下一片段，并在其优势最需要的地方发挥作用。通过与 8 个模型协作基线和 18 个数据集的广泛实验表明：1) 在 18 项任务中的 16 项上，模型协作始终优于单个模型；2) 开关生成平均而言比基线提高了 12.9%。进一步分析显示，开关生成能够发现组合技能来解决单个模型难以应对的问题，并能泛化到未见过的模型和任务，重用和重新利用昂贵的模型训练流水线中被丢弃的副产品。