⏶13
《我的世界》游戏中多模态大模型智能体的经验迁移
发表
由 
taesiri 提交
taesiri 提交作者: Chenghao Li, Jun Liu, Songbo Zhang, Huadong Jian, Hao Ni, Lik-Hang Lee, Sung-Ho Bae, Guoqing Wang, Yang Yang, Chaoning Zhang
摘要
AI 生成总结
Echo 是一个面向迁移的多模态大语言模型智能体记忆框架，通过将先前交互中的行动知识分解为五个知识维度并结合上下文类比学习（In-Context Analogy Learning），实现在复杂游戏环境中的高效任务解决。在复杂游戏环境中运行的多模态 LLM 智能体必须持续复用过去的经验，以高效解决新任务。在这项工作中，我们提出了 Echo，这是一个面向迁移的记忆框架，使智能体能够从先前的交互中推导出可操作的知识，而不是将记忆视为静态记录的被动存储库。为了使迁移显式化，Echo 将可复用知识分解为五个维度：结构、属性、过程、功能和交互。这种形式化方法允许智能体识别不同任务间共享的重复模式，并推断哪些先前的经验在当前新情况下仍然适用。基于此，Echo 利用上下文类比学习（ICAL）来检索相关经验，并通过上下文示例将其调整到未见过的任务中。在《我的世界》（Minecraft）中的实验表明，在从头开始学习的设定下，Echo 在物品解锁任务上实现了 1.3 倍到 1.7 倍的加速。此外，Echo 表现出一种爆发式的链式解锁现象，即在获得可迁移经验后的短时间内快速解锁多个相似物品。这些结果表明，经验迁移是提高多模态 LLM 智能体在复杂交互环境中效率和适应性的一个充满前景的方向。