具身智能体遇见个性化：探索记忆利用实现个性化辅助

由大型语言模型 (LLM) 赋能的具身智能体在家庭物品重新布置任务中表现出色。然而，这些任务主要侧重于单轮交互和简化的指令，这并不能真正反映为用户提供有意义帮助的挑战。为了提供个性化帮助，具身智能体必须通过利用先前的交互历史来理解用户赋予物理世界的独特语义（例如，最喜欢的杯子、早餐习惯），以解释动态的现实世界指令。然而，具身智能体在利用记忆提供个性化帮助方面的有效性仍未得到充分探索。为了弥补这一差距，我们提出了 MEMENTO，一个个性化具身智能体评估框架，旨在全面评估记忆利用能力以提供个性化帮助。我们的框架由两阶段记忆评估过程设计组成，可以量化记忆利用对任务性能的影响。该过程通过关注记忆在目标解释中的作用来评估智能体对物品重新布置任务中个性化知识的理解：（1）根据个人意义识别目标物品的能力（物品语义），以及（2）从一致的用户模式（如例行公事）中推断物品位置配置的能力（用户模式）。我们对各种 LLM 的实验揭示了记忆利用方面的显着局限性，即使是 GPT-4o 等前沿模型，在需要引用多个记忆时，性能下降了 30.5%，尤其是在涉及用户模式的任务中。这些发现，连同我们的详细分析和案例研究，为未来开发更有效的个性化具身智能体的研究提供了宝贵的见解。项目网站：https://connoriginal.github.io/MEMENTO