PERK: 长上下文推理作为参数高效的测试时学习

长上下文推理需要准确识别广泛、嘈杂的输入上下文中的相关信息。以往的研究表明，使用测试时学习将上下文直接编码到模型参数中，可以有效地实现对噪声信息的推理。然而，用于实现测试时学习的元学习方法内存消耗巨大，阻碍了它们在长上下文设置中的应用。在这项工作中，我们提出了 PERK（Parameter Efficient Reasoning over Knowledge），这是一种可扩展的方法，用于在测试时通过梯度更新将长输入上下文编码到轻量级模型适配器中。具体来说，PERK 在元训练阶段采用了两个嵌套的优化循环。内层循环将上下文快速编码到低秩适配器（LoRA）中，该适配器作为基础模型的参数高效记忆模块。同时，外层循环学习使用更新后的适配器，从编码后的长上下文中准确回忆和推理相关信息。我们对多个长上下文推理任务的评估表明，PERK 显著优于标准的基于提示的长上下文基线，对于小型模型（GPT-2）实现了高达 90% 的平均绝对性能提升，对于我们评估的最大模型 Qwen-2.5-0.5B 则实现了高达 27% 的提升。总的来说，PERK 对推理复杂性、长度外推以及上下文中相关信息的位置更具鲁棒性。最后，我们表明，虽然 PERK 在训练期间内存密集，但在推理时比基于提示的长上下文推理更有效地扩展。