AI论文精选
⏶72

LightMem：轻量级高效内存增强生成

发表
由 Ningyu ZhangNingyu Zhang 提交
作者: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang

摘要

AI 生成总结
LightMem 是一种受人脑记忆系统启发的记忆系统，通过高效管理历史交互信息来增强 LLM，从而提高准确性并降低计算成本。
尽管大型语言模型 (LLM) 具有出色的能力，但在动态和复杂的环境中，它们在有效利用历史交互信息方面仍存在困难。通过引入持久的信息存储、检索和利用机制，内存系统使 LLM 能够超越无状态交互。然而，现有的内存系统通常会引入显著的时间和计算开销。为此，我们引入了一个名为 LightMem 的新内存系统，它在内存系统的性能和效率之间取得了平衡。LightMem 的灵感来自 Atkinson-Shiffrin 的人类记忆模型，将记忆分为三个互补的阶段。首先，受认知启发的感官记忆通过轻量级压缩快速过滤无关信息，并根据主题对信息进行分组。接下来，面向主题的短期记忆巩固了这些基于主题的分组，组织和总结内容以便进行更结构化的访问。最后，具有睡眠时间更新的长期记忆采用一种离线程序，将巩固与在线推理分离开来。在基于 GPT 和 Qwen 的 LongMemEval 上进行的实验表明，LightMem 在准确性方面优于强大的基线（提高高达 10.9%），同时将令牌使用量减少了 117 倍，API 调用减少了 159 倍，运行时长减少了 12 倍以上。代码可在 https://github.com/zjunlp/LightMem 获取。
查看 arXiv 页面查看 PDF
LightMem：轻量级高效内存增强生成

评论

Ningyu ZhangNingyu Zhang
论文提交者

我们推出了一种名为 LightMem 的新内存系统，它在内存系统的性能和效率之间取得了平衡。

在具有 GPT 和 Qwen 主干模型的 LongMemEval 上进行的实验表明，LightMem 在准确性方面优于强大的基线（最高可提高 10.9%），同时将 token 使用量减少了高达 117 倍，API 调用减少了高达 159 倍，运行时长缩短了 12 倍以上。代码可在 https://github.com/zjunlp/LightMem 获取。