模型保持自适应舍入

训练后量化（PTQ）的主要目标是生成一个压缩模型，其输出分布尽可能接近原始模型的输出分布。为了可行地做到这一点，几乎所有 LLM PTQ 算法都通过独立地最小化即时激活误差来量化线性层。然而，这个局部目标忽略了后续层的影响，因此减小它并不一定能得到一个更接近的模型。在这项工作中，我们提出了一种名为 Yet Another Quantization Algorithm (YAQA) 的自适应舍入算法，该算法利用了关于整个模型 KL 散度的每个线性层 Hessian 的 Kronecker-分解近似。YAQA 由两部分组成：一是整个层间 Hessian 的 Kronecker-分解草图，这些草图对于千亿参数的 LLM 可以可行地计算；二是利用这些草图并附带理论保证的与量化器无关的舍入算法。在广泛的模型和量化器上，YAQA 经验性地将与原始模型的 KL 散度降低了约 30%，同时在下游任务上实现了最先进的性能。