⏶113
拖放式LLM：零样本提示到权重
发表
由 
Kai Wang 提交
Kai Wang 提交作者: 
Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, 
Xuanlei Zhao, 
Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang
Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang摘要
现代参数高效微调（PEFT）方法，如低秩适应（LoRA），降低了定制大型语言模型（LLMs）的成本，但仍然需要为每个下游数据集单独运行优化。我们引入了“拖放式LLM”（Drag-and-Drop LLMs, \textit{DnD}），这是一种提示词条件参数生成器，通过将少量未标注的任务提示词直接映射到LoRA权重更新，从而消除了按任务训练的需求。一个轻量级文本编码器将每个提示词批次提炼成条件嵌入，然后由级联超卷积解码器将其转换为整套LoRA矩阵。一旦在多样化的提示词-检查点对集合上训练完成，DnD就能在几秒钟内生成特定任务的参数，从而实现：i) 开销比完全微调低至12,000倍；ii) 在未经训练的常识推理、数学、编码和多模态基准测试中，性能比最强的训练LoRA平均提升高达30%；以及iii) 尽管从未见过目标数据或标签，但仍具有鲁棒的跨领域泛化能力。我们的结果表明，提示词条件参数生成是基于梯度适应的一种可行替代方案，可用于快速专业化LLMs。我们的项目可在 https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD} 上获取。
评论
Peng
Rosswill
YangXiuyu
Grant Singleton完整音频解读请见这里 👉 https://arxivexplained.com/papers/drag-and-drop-llms-zero-shot-prompt-to-weights
ab
Nicolas
Vadim Kataev
Jaekyung Cho
现代参数高效微调（PEFT）方法（例如低秩适应（LoRA））降低了定制大型语言模型（LLM）的成本，但对于每个下游数据集仍需要单独的优化运行。我们引入了拖放式大型语言模型（DnD），这是一种提示条件参数生成器，通过将少量未标记的任务提示直接映射到LoRA权重更新来消除按任务训练的需求。一个轻量级文本编码器将每个提示批次提炼成条件嵌入，然后由级联超卷积解码器将其转换为完整的LoRA矩阵集。DnD在多样化的提示-检查点对集合中训练后，可以在几秒钟内生成特定于任务的参数，从而实现：i）比完全微调低至12,000倍的开销，ii）在未见的常识推理、数学、编程和多模态基准测试中，性能比最强的训练LoRA平均提升高达30%，以及 iii）尽管从未见过目标数据或标签，仍能实现强大的跨领域泛化。我们的结果表明，提示条件参数生成是快速专门化LLM的梯度 기반适应的一种可行替代方案。我们的项目可在 https://jerryliang24.github.io/DnD 查阅。