使用多智能体强化学习对线缆悬挂载荷进行分散式空中操作

本文提出了首个去中心化方法，能够实现微型飞行器（MAVs）团队对真实世界中线缆悬挂载荷的6-DoF（六自由度）操纵。我们的方法利用多智能体强化学习（MARL）为每个MAV训练一个外环控制策略。与采用集中式方案的最先进控制器不同，我们的策略不需要全局状态、MAV间的通信或邻近MAV的信息。相反，智能体仅通过载荷姿态观测进行隐式通信，这使得高扩展性和灵活性成为可能。它还显著降低了推理时间的计算成本，使得策略能够进行板载部署。此外，我们通过线性加速度和机体速率引入了一个新的MAV动作空间设计。这种选择与鲁棒的低级控制器相结合，使得在动态3D运动中由线缆张力引起的显著不确定性下，能够实现可靠的模拟到真实（sim-to-real）迁移。我们在各种真实世界实验中验证了我们的方法，包括在载荷模型不确定性下的全姿态控制，显示出可与最先进的集中式方法相媲美的设定点跟踪性能。我们还展示了具有异构控制策略的智能体之间的协作，以及对一个MAV完全飞行丢失的鲁棒性。实验视频：https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl