⏶27
小型LLM在数据合成中的战略协调框架与大型LLM相匹配
发表
由 
QizhiPei 提交
QizhiPei 提交作者: 
Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu
Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu摘要
虽然数据合成和蒸馏是增强小型语言模型的有前景的策略，但当前的方法严重依赖大型语言模型（LLMs），这些模型存在计算成本高、环境效率低以及可能继承自单体架构的偏差等问题。相比之下，较小的 LLM 更易于访问且更可持续，但它们的个体能力通常不足以生成高质量、多样化和可靠的数据。受到人类协作过程（例如，同行评审）的启发，我们提出了一个涉及多个小型 LLM 的框架 GRA，它聚合了小型 LLM 的专门角色，以实现通常由单个大型 LLM 实现的迭代改进和质量控制。在这个协作框架中，多个小型 LLM 承担不同的角色——生成器、审阅者和仲裁者——以模拟受同行评审启发的数据合成管道。生成器提出初始数据样本，审阅者批判它们的质量和多样性，仲裁者解决冲突以最终确定输出。通过将合成过程分解为专门的子任务，协作小型 LLM 可以实现与基于大型 LLM 的蒸馏相当的数据级别。通过跨多个基准的实验，我们证明了 GRA 生成的数据在质量上与单个大型 LLM 输出（例如，Qwen-2.5-72B-Instruct）相匹配或超过。我们的结果挑战了单体大型模型对于高质量数据合成的必要性，而是提倡小型智能体的战略协调。我们的数据集、模型和代码在 https://github.com/GX-XinGao/GRA 公开提供。
虽然数据合成和蒸馏是增强小型语言模型的有希望的策略，但当前的方法严重依赖于大型语言模型 (LLM)，这会带来高计算成本、环境效率低下以及从单体架构继承的潜在偏差。 相比之下，较小的 LLM 更容易获得且更可持续，但它们的个体能力通常不足以生成高质量、多样化和可靠的数据。 受协作人类过程（例如，同行评审）的启发，我们提出了一个涉及多个小型 LLM 的框架 GRA，该框架聚合了小型 LLM 的专业角色，以实现通常由单个大型 LLM 实现的迭代改进和质量控制。 在这个协作框架中，多个小型 LLM 承担不同的角色——生成器、审阅者和仲裁者——以模拟受同行评审启发的数据合成管道。 生成器提出初始数据样本，审阅者批判它们的质量和多样性，仲裁者解决冲突以最终确定输出。 通过将合成过程分解为专门的子任务，协作小型 LLM 可以实现与基于大型 LLM 的蒸馏相当的数据水平。 通过跨多个基准的实验，我们证明了 GRA 生成的数据在质量上与单个大型 LLM 输出（例如，Qwen-2.5-72B-Instruct）相匹配或超过。 我们的结果挑战了单体大型模型对于高质量数据合成的必要性，而是提倡较小代理的战略协调。 我们的数据集、模型和代码在 https://github.com/GX-XinGao/GRA 公开提供。