⏶9
PraMem: 用于长周期行为预测的实践导向经验记忆
发表
由 
Li Zhuoqun 提交
Li Zhuoqun 提交作者: Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun
Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun摘要
AI 生成总结
PraMem 通过将冗长的历史序列转化为经验记忆，提高了长时程行为预测的准确性。长时程行为预测旨在基于冗长的历史序列推断用户的下一个动作，在人工智能领域扮演着至关重要的角色。大型语言模型 (LLM) 的兴起为序列行为预测提供了有前景的方向，然而，LLM 在处理长时程行为预测时，在潜在行为模式归纳和模型固有的认知偏差方面存在困难。先前的内存管理方法遵循一种上下文压缩范式，试图通过减轻历史序列负担来解决此任务，但未能解决核心挑战。在本文中，我们主张范式转变，将冗长的历史序列从负担重新定义为可利用的宝贵资源，并相应地提出了 PraMem，它对冗长的历史序列进行预先实践以构建经验记忆，从而作为辅助输入用于准确的长时程行为预测。跨各种任务的广泛实验表明，PraMem 实现了优于先前方法的性能，更深入的分析为经验记忆的机制和演变提供了宝贵见解。代码：https://github.com/icip-cas/PraMem。
长时域行为预测旨在根据冗长的历史序列推断用户的下一个动作，这在人工智能领域扮演着至关重要的角色。大型语言模型（LLMs）的兴起为序列行为预测提供了有前景的方向，然而LLMs在处理长时域行为预测时，在潜在行为模式归纳和模型内在认知偏差方面存在困难。以往的内存管理方法遵循上下文压缩范式，试图通过减轻历史序列负担来解决此任务，但未能解决核心挑战。在本文中，我们主张范式转变，将冗长的历史序列从负担重塑为可利用的宝贵资源，并因此提出了PraMem，它对冗长的历史序列进行预先实践以构建经验记忆，从而作为辅助输入实现准确的长时域行为预测。跨多样任务的广泛实验表明，PraMem比以往方法取得了更优异的性能，更深入的分析也为经验记忆的机制和演变提供了宝贵的见解。