CAMAR:连续动作多智能体路由

发表
Alexey SkrynnikAlexey Skrynnik 提交
作者: Artem PshenitsynArtem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

摘要

多智能体强化学习 (MARL) 是解决合作与竞争决策问题的强大范例。尽管已经提出了许多 MARL 基准测试,但很少有基准测试能够将连续的状态和动作空间与具有挑战性的协调和规划任务结合起来。我们推出了 CAMAR,这是一个新的 MARL 基准测试,专门为在具有连续动作的环境中进行多智能体寻路而设计。CAMAR 支持智能体之间的合作和竞争交互,并且能够高效运行,每秒可达 100,000 个环境步。我们还提出了一个三层评估协议,以更好地跟踪算法进展并对性能进行更深入的分析。此外,CAMAR 允许将经典规划方法(如 RRT 和 RRT*)集成到 MARL 管道中。我们将它们用作独立的基线,并将 RRT* 与流行的 MARL 算法相结合,以创建混合方法。我们提供了一系列测试场景和基准测试工具,以确保可复现性和公平的比较。实验表明,CAMAR 为 MARL 社区提供了一个具有挑战性且逼真的测试平台。
查看 arXiv 页面查看 PDF
CAMAR:连续动作多智能体路由

评论

Alexey SkrynnikAlexey Skrynnik
论文提交者

🚀 我们刚刚发布了 CAMAR — 一个用于连续二维世界中多智能体强化学习的新基准和 RL 环境。

✨ 与许多现有的 MARL 基准不同,CAMAR 结合了连续动作、快速模拟和程序生成地图。

📊 它还包括一个三层评估协议,对 RRT 求解器、流行的 MARL 算法以及结合两者的混合方法进行基准测试。

🤖 我们希望 CAMAR 对 MARL 社区和需要可扩展的连续多智能体环境的机器人研究人员都有用。