⏶119
MemOS: 专为AI系统设计的内存操作系统
发表
由
hanyu Wang 提交
作者: Zhiyu Li, Shichao Song,
Chenyang Xi,
Hanyu Wang, Chen Tang,
Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li,
Qingchen Yu,
Jihao Zhao,
Yezhaohui Wang, Peng Liu,
Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang,
Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang,
Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong



摘要
大型语言模型(LLMs)已成为通用人工智能(AGI)的重要基础设施,但其缺乏明确定义的内存管理系统,阻碍了长上下文推理、持续个性化和知识一致性的发展。现有模型主要依赖静态参数和短期上下文状态,限制了它们在较长时间内跟踪用户偏好或更新知识的能力。尽管检索增强生成(RAG)以纯文本形式引入外部知识,但它仍然是一种无状态的权宜之计,缺乏生命周期控制或与持久表示的集成。最近的研究从内存层次结构的角度对LLM的训练和推理成本进行了建模,表明在参数内存和外部检索之间引入一个显式内存层,可以通过将特定知识外部化来大幅降低这些成本。除了计算效率之外,LLM还面临着信息在时间和上下文中的分布方式所带来的更广泛挑战,这需要能够管理跨越不同时间尺度和来源的异构知识的系统。为应对这一挑战,我们提出了MemOS,一个将内存视为可管理系统资源的内存操作系统。它统一了纯文本、基于激活和参数级内存的表示、调度和演化,实现了成本高效的存储和检索。作为基本单元,MemCube封装了内存内容以及元数据,如来源和版本控制。MemCube可以随时间进行组合、迁移和融合,从而实现内存类型之间的灵活转换,并将检索与基于参数的学习相结合。MemOS建立了一个以内存为中心的系统框架,为LLM带来了可控性、可塑性和可演化性,为持续学习和个性化建模奠定了基础。



评论
arXiv Explained 解释了这篇论文的细分 👉 https://arxivexplained.com/papers/memos-a-memory-os-for-ai-system
我们提出了 MemOS,一套面向大语言模型(LLM)的开源工业级记忆操作系统,旨在系统性解决长期对话、跨会话推理以及个性化记忆管理中的关键挑战。不同于传统的 RAG 或参数中心方法,我们将“记忆”视为与算力同等重要的一类系统资源。MemOS 引入了统一结构 MemCube,在标准化调度与编排框架下封装明文记忆、激活状态和参数记忆,实现全面统一的记忆管理。
系统采用三层架构设计:包括记忆 API 层、记忆调度与管理层,以及记忆存储与基础设施层。我们提出了创新性的 “下一场景预测”(Next-Scene Prediction) 机制,可在推理过程中主动预加载相关记忆片段,显著降低延迟与 token 开销。
🌳 MemOS 的记忆组织结构采用树状分层模型,既具备清晰的层级性与可扩展性,也支持图结构的语义交叉链接,从而实现灵活的语义推理。系统支持记忆的插入、融合与重构,使其随着交互不断演化,仿佛模拟人类思维的变化过程。
🧠 MemOS 配备了一个智能记忆调度器(Memory Scheduler),用于动态管理参数记忆、激活记忆和明文记忆,能够根据任务需求进行选择、预加载与优化过滤,类似操作系统中的调度器,但服务对象是 AI 的记忆系统。
在 LoCoMo 长对话记忆基准 上,MemOS 在时序推理任务中相较 OpenAI 全局记忆方案实现 159% 的性能提升,整体准确率提升 38.97%,Token 开销减少 60.95%,在长期记忆管理方面刷新多个指标的 SOTA 表现。
MemOS 已实现完全开源,具备模块化设计,并兼容 HuggingFace、OpenAI、Ollama 等主流大模型生态系统。我们希望 MemOS 能助力 AI 系统从“静态生成器”迈向“持续进化的记忆驱动型智能体”。
🌐 项目官网:https://memos.openmem.net
📄 论文链接:https://arxiv.org/abs/2507.03724
💻 开源代码:https://github.com/MemTensor/MemOS
💬 Discord 讨论组:https://discord.gg/Txbx3gebZR
📬 联系邮箱:contact@openmem.net