⏶7
RoboMemory：一种受大脑启发的终身学习多记忆智能体框架，适用于物理具身系统
发表
由 
Lei Mingcong 提交
Lei Mingcong 提交作者: Mingcong Lei, Honghao Cai, Zezhou Cui, Liangchen Tan, Junkun Hong, Gehan Hu, Shuangyu Zhu, Yimou Wu, Shaohan Jiang, Ge Wang, Zhen Li, Shuguang Cui, Yiming Zhao, Yatong Han
摘要
我们提出了RoboMemory，一个受大脑启发的物理具身系统终身学习多记忆框架，旨在解决现实世界环境中的关键挑战：持续学习、多模块记忆延迟、任务关联捕获以及闭环规划中的无限循环缓解。RoboMemory以认知神经科学为基础，集成了四个核心模块：信息预处理器（类丘脑）、终身具身记忆系统（类海马体）、闭环规划模块（类前额叶）和低级执行器（类小脑），以实现长期规划和累积学习。终身具身记忆系统是该框架的核心，通过空间、时间、情景和语义子模块的并行更新/检索，缓解了复杂记忆框架中的推理速度问题。它集成了动态知识图谱（KG）和一致的架构设计，以增强记忆一致性和可伸缩性。在EmbodiedBench上的评估表明，RoboMemory在平均成功率方面比开源基线（Qwen2.5-VL-72B-Ins）高出25%，并且比闭源最先进（SOTA）模型（Claude3.5-Sonnet）高出5%，从而确立了新的SOTA。消融研究验证了关键组件（评论器、空间记忆、长期记忆），而实际部署证实了其终身学习能力，在重复任务中显著提高了成功率。RoboMemory缓解了高延迟挑战和可伸缩性问题，为在物理机器人中集成多模态记忆系统提供了基础性参考。
我们提出了 RoboMemory，一个受大脑启发的、用于物理具身系统终身学习的多记忆框架，旨在解决现实世界环境中的关键挑战：持续学习、多模块记忆延迟、任务关联捕获以及闭环规划中无限循环的缓解。它以认知神经科学为基础，集成了四个核心模块：信息预处理器（类丘脑）、终身具身记忆系统（类海马体）、闭环规划模块（类前额叶）和低级执行器（类小脑），以实现长期规划和累积学习。终身具身记忆系统是该框架的核心，通过空间、时间、情景和语义子模块的并行更新/检索，缓解了复杂记忆框架中的推理速度问题。它整合了动态知识图谱（KG）和一致的架构设计，以增强记忆的一致性和可扩展性。在 EmbodiedBench 上的评估表明，RoboMemory 的平均成功率比开源基线（Qwen2.5-VL-72B-Ins）高出 25%，并超越了闭源的最新技术（SOTA）（Claude3.5-Sonnet）5%，确立了新的 SOTA。消融研究验证了关键组件（评论器、空间记忆、长期记忆），而实际部署证实了其终身学习能力，在重复任务中显著提高了成功率。RoboMemory 缓解了高延迟挑战并具有可扩展性，为在物理机器人中集成多模态记忆系统提供了基础性参考。