⏶5
AI 海马体:我们距离人类记忆还有多远?
发表
由
taesiri 提交
作者: Zixia Jia, Jiaqi Li, Yipeng Kang, Yuxuan Wang, Tong Wu, Quansen Wang, Xiaobo Wang, Shuyi Zhang, Junzhe Shen, Qing Li, Siyuan Qi, Yitao Liang, Di He, Zilong Zheng, Song-Chun Zhu
摘要
AI 生成总结
大语言模型和多模态语言模型中的记忆机制被分为隐式、显式和智能体范式,通过内部参数、外部知识存储和持久的智能体记忆结构,支持增强的推理、适应性和上下文忠实度。记忆在增强现代大语言模型(LLM)和多模态大语言模型(MLLM)的推理、适应性和上下文忠实度方面起着基础性作用。随着这些模型从静态预测器转变为具备持续学习和个性化推理能力的交互式系统,记忆机制的引入已成为其架构和功能进化的核心主题。本综述对 LLM 和 MLLM 中的记忆进行了全面且结构化的综合,将文献整理成一个包含隐式、显式和智能体记忆范式的连贯分类体系。具体而言,本综述划定了三种主要的记忆框架:隐式记忆是指嵌入在预训练 Transformer 内部参数中的知识,包括其记忆能力、关联检索和上下文推理能力,近期的研究探索了理解、操纵和重新配置这种潜空间记忆的方法;显式记忆涉及外部存储和检索组件,旨在通过动态、可查询的知识表示(如文本语料库、稠密向量和基于图的结构)增强模型输出,从而实现与信息源的可扩展和可更新交互;智能体记忆在自主智能体中引入持久且具有时间跨度的记忆结构,促进多智能体系统中的长期规划、自我一致性和协作行为,这与具身和交互式 AI 相关。除文本之外,本综述还探讨了多模态环境下的记忆整合,其中视觉、语言、音频和动作模态之间的一致性至关重要。本文还讨论了关键的架构进展、基准任务和开放挑战,包括与记忆容量、对齐、事实一致性和跨系统互操作性相关的问题。
关于 LLM 和多模态模型中记忆的综述,详细介绍了隐式、显式和智能体记忆、架构、基准测试,以及在持久性、对齐和跨模态检索方面的挑战。