Ella：具有终身记忆的具身社交智能体

我们推出 Ella，一个具身社交智能体，能够在 3D 开放世界中的社区内进行终身学习。在这个世界中，智能体通过日常视觉观察和社交互动积累经验并获取知识。Ella 的核心能力是一个结构化的、长期多模态记忆系统，能够有效地存储、更新和检索信息。该系统包括一个以名称为中心的语义记忆，用于组织已获得的知识，以及一个时空情景记忆，用于捕获多模态的体验。通过将这个终身记忆系统与基础模型相结合，Ella 可以检索相关信息以进行决策、规划日常活动、建立社交关系，并在与开放世界中的其他智能生物共存的同时自主进化。我们在一个动态的 3D 开放世界中进行了面向能力的评估，其中 15 个智能体参与了为期数天的社交活动，并通过一系列未见过的受控评估进行评估。实验结果表明，Ella 能够很好地影响、领导和与其他智能体合作以实现目标，展示了它通过观察和社交互动有效学习的能力。我们的研究结果突出了将结构化记忆系统与基础模型相结合，以推动具身智能发展的变革潜力。更多视频请访问 https://umass-embodied-agi.github.io/Ella/。