AgentsNet：多智能体LLM中的协调与协作推理

大型语言模型（LLM）展现了强大的问题解决能力，尤其是在多智能体系统中。然而，这类系统的出现也引发了关于复杂智能体网络有效自组织和协作能力的几个问题。虽然衡量标准推理基准上的性能可以指示多智能体系统解决推理任务的能力，但尚不清楚这些系统是否能够有效利用其拓扑结构。在此，我们提出了AgentsNet，一个新的多智能体推理基准。通过从分布式系统和图论的经典问题中汲取灵感，AgentsNet衡量多智能体系统在给定网络拓扑的情况下，协同形成问题解决、自组织和有效通信策略的能力。我们评估了AgentsNet上的各种基线方法，包括需要首先就基本组织和通信协议达成一致的同质智能体网络。我们发现，一些前沿LLM在小型网络中已经展现出强大的性能，但一旦网络规模扩大便开始下降。虽然现有的多智能体基准最多涵盖2-5个智能体，但AgentsNet的规模实际上是无限的，并且可以随着新一代LLM的出现而扩展。因此，我们还在多达100个智能体的设置中对前沿模型进行了探测。