⏶25
原位测试时训练（In-Place Test-Time Training）
发表
由 
taesiri 提交
taesiri 提交作者: Guhao Feng, Shengjie Luo, 
Kai Hua, Ge Zhang, Di He, Wenhao Huang, Tianle Cai
Kai Hua, Ge Zhang, Di He, Wenhao Huang, Tianle Cai摘要
AI 生成总结
原位测试时训练（In-Place Test-Time Training）通过使用任务对齐的目标和高效的更新机制修改 MLP 块中的最终投影矩阵，使大语言模型能够在推理过程中调整参数。静态的“先训练后部署”范式从根本上限制了大语言模型（LLM）动态调整其权重以响应现实任务中固有的持续新信息流的能力。测试时训练（TTT）提供了一种引人注目的替代方案，即在推理时更新模型参数的子集（快速权重），但其在当前 LLM 生态系统中的潜力受到架构不兼容、计算低效以及语言建模快速权重目标不匹配等关键障碍的阻碍。在这项工作中，我们引入了原地测试时训练（In-Place TTT），这是一个无缝赋予 LLM 测试时训练能力的框架。In-Place TTT 将无处不在的 MLP 模块的最终投影矩阵作为其可自适应的快速权重，从而实现对 LLM 的“即插即用”式增强，而无需从头进行昂贵的重新训练。此外，我们用量身定制的、具有理论基础的目标替换了 TTT 的通用重建目标，该目标与主导自回归语言建模的下一 Token 预测（Next-Token-Prediction）任务明确对齐。这种原则性的目标结合高效的分块更新机制，产生了一种与上下文并行兼容的高可扩展算法。广泛的实验验证了我们框架的有效性：作为一种原地增强方案，它使一个 4B 参数模型在高达 128k 上下文的任务中实现了卓越性能；而当从头开始预训练时，它始终优于具有竞争力的 TTT 相关方法。消融实验结果进一步对我们的设计选择提供了深入见解。总的来说，我们的结果确立了 In-Place TTT 是迈向 LLM 持续学习范式的充满希望的一步。