从反应式到认知式:面向具身智能体的受大脑启发的空间智能

发表
RSWRSW 提交
作者: Shouwei Ruan, Liyuan Wang, Caixin Kang, Qihui Zhu, Songming Liu, Xingxing Wei, Hang Su

摘要

空间认知通过构建内部空间模型,能够实现适应性的目标导向行为。健全的生物系统将空间知识整合为三种相互关联的形式:用于显著线索的地标,用于运动轨迹的路线知识,以及用于地图样表示的概览知识。尽管多模态大型语言模型(MLLM)的最新进展使得具身智能体在视觉语言推理方面取得了进展,但这些努力缺乏结构化的空间记忆,而是被动地运作,限制了它们在复杂现实世界环境中的泛化能力和适应性。在这里,我们提出了具身导航的脑启发空间认知(BSC-Nav),这是一个用于在具身智能体中构建和利用结构化空间记忆的统一框架。BSC-Nav从以自我为中心的轨迹和上下文线索构建面向外部的认知地图,并根据语义目标动态检索空间知识。与强大的MLLM集成后,BSC-Nav在各种导航任务中实现了最先进的功效和效率,展现了强大的零样本泛化能力,并支持在现实物理世界中的通用具身行为,为通用空间智能提供了可扩展且基于生物学基础的路径。
查看 arXiv 页面查看 PDF
从反应式到认知式:面向具身智能体的受大脑启发的空间智能
从反应式到认知式:面向具身智能体的受大脑启发的空间智能
从反应式到认知式:面向具身智能体的受大脑启发的空间智能
从反应式到认知式:面向具身智能体的受大脑启发的空间智能
从反应式到认知式:面向具身智能体的受大脑启发的空间智能

评论

RSWRSW
论文提交者

从被动反应到认知智能:面向具身智能体的脑启发空间智能

这项工作介绍了 BSC-Nav,一个脑启发空间智能框架。通过显式构建和利用由地标、路线知识和调查知识组成的结构化空间记忆,BSC-Nav 将智能体的行为从被动反应转变为认知导航,在复杂的现实世界任务中展现出强大的零样本泛化能力,包括通用导航、移动操作和通过主动探索进行的空间推理。