齐心协力：用于协作式大型语言模型的在线强化学习

多智能体系统（MAS）和强化学习（RL）被广泛用于增强大型语言模型（LLM）的智能体能力。MAS 通过基于角色的编排来提高任务性能，而 RL 则利用环境奖励来学习更强大的策略，例如 GRPO 风格的优化。然而，将在线策略 RL 应用于 MAS 仍未得到充分研究，并带来独特的挑战。在算法层面，标准的 GRPO 分组假设失效，因为提示会因角色和轮次而异。在系统层面，训练堆栈必须支持 MAS 工作流的推出以及单策略和多策略模型的在线策略更新。 我们提出了 AT-GRPO，它包括（i）一种针对 MAS 定制的、按智能体和轮次分组的 RL 算法，以及（ii）一个支持单策略和多策略模式的训练系统。在游戏、规划、编码和数学任务中，AT-GRPO 带来了显著的收益。在长时规划方面，它将单智能体 RL 基线的准确率从 14.0% 提高到 47.0%，提高到 96.0% 到 99.5%。它还提高了推理性能，在编码任务上的平均增幅为 3.87% 至 7.62%，在数学任务上的平均增幅为 9.0% 至 17.93%。代码和环境可在以下网址获取：https://github.com/pettingllms-ai/PettingLLMs。