Astra: 迈向通用移动机器人：通过分层多模态学习

现代机器人导航系统在多样复杂室内环境中遇到困难。传统方法依赖于由小型模型组成的多个模块或基于规则的系统，因此缺乏对新环境的适应性。为了解决这个问题，我们开发了 Astra，一个用于移动机器人导航的综合性双模型架构，包含 Astra-Global 和 Astra-Local。Astra-Global 是一个多模态大语言模型（LLM），它处理视觉和语言输入，利用混合拓扑-语义图作为全局地图进行自身定位和目标定位，并且其性能优于传统的视觉位置识别方法。Astra-Local 是一个多任务网络，负责局部路径规划和里程计估计。其4D时空编码器通过自监督学习进行训练，为下游任务生成鲁棒的4D特征。规划头部利用流匹配和新型掩码ESDF损失来最小化碰撞风险，从而生成局部轨迹；里程计头部则通过Transformer编码器整合多传感器输入，预测机器人的相对位姿。Astra 已部署在真实的自研移动机器人上，在多样化的室内环境中实现了高端到端任务成功率。