⏶39
LLM 量化的几何学：GPTQ 作为 Babai 最近平面算法
发表
由 
Jiale Chen 提交
Jiale Chen 提交作者: Jiale Chen, Torsten Hoefler, Dan Alistarh
Jiale Chen, Torsten Hoefler, Dan Alistarh摘要
将大型语言模型（LLM）的权重从16位量化到更低位宽，是目前将大规模Transformer模型部署到更经济的加速器上的事实标准方法。GPTQ已成为LLM规模上一次性训练后量化的标准方法之一。然而，其内部工作原理被描述为一系列临时的代数更新，模糊了任何几何意义或最坏情况保证。在这项工作中，我们表明，当对线性层进行从后向前（从最后一个维度到第一个维度）执行时，GPTQ在数学上等同于Babai的最近平面算法，用于解决在由该层输入的海森矩阵定义的格上的经典最近向量问题（CVP）。这种等价性基于复杂的数学论证，并具有两个分析结果：(i) GPTQ的误差传播步骤获得了直观的几何解释；(ii) 在无裁剪条件下，GPTQ继承了Babai算法的误差上限。总而言之，这些结果为GPTQ奠定了坚实的理论基础，并为将格算法数十年的进展引入到未来亿级参数模型的量化算法设计中打开了大门。
将大型语言模型（LLM）的权重从16位量化到更低位宽，是目前将大规模Transformer模型部署到更经济实惠的加速器上的事实标准方法。GPTQ作为LLM规模下一次性后训练量化的标准方法之一而出现。然而，其内部工作机制被描述为一系列临时的代数更新，模糊了任何几何意义或最坏情况保证。在这项工作中，我们表明，当对线性层进行从后向前（从最后一个维度到第一个维度）执行时，GPTQ在数学上与Babai的最近平面算法（用于经典最近向量问题CVP）完全相同，该CVP问题是在由层输入的Hessian矩阵定义的格上进行的。这种等效性基于复杂的数学论证，并具有两个分析性结果：（i）GPTQ误差传播步骤获得了直观的几何解释；（ii）在无剪裁（no-clipping）条件下，GPTQ继承了Babai算法的误差上限。总而言之，这些结果为GPTQ奠定了坚实的理论基础，并为将数十年来的格算法进展引入到未来数十亿参数模型的量化算法设计中打开了大门。