SINQ：用于无校准低精度 LLM 权重的 Sinkhorn-归一化量化

训练后量化已成为低精度部署大型语言模型最广泛采用的策略。然而，当前的量化方法在比特宽度小于或等于 4 时会出现困惑度下降，部分原因在于表示异常值会导致与这些异常值共享相同尺度的参数出现精度问题。对于无需校准的均匀量化方法而言，这个问题尤为突出。我们引入 SINQ，通过增加一个额外的第二轴尺度因子和一种快速的 Sinkhorn-Knopp 风格算法来增强现有的训练后量化器，该算法可找到用于逐行和逐列方差归一化的尺度，从而最小化我们提出的用于量化的新型每矩阵代理目标：矩阵不平衡。我们的方法在层之间没有相互作用，可以轻松应用于新架构以量化任何线性层。我们在 Qwen3 模型系列和 DeepSeek-V2.5 上评估了我们的方法。与未校准的均匀量化基线相比，SINQ 在 WikiText2 和 C4 困惑度方面取得了显著提升，并且可以通过将其与校准和非均匀量化级别相结合来进一步增强。重现此工作结果并轻松使用 SINQ 量化模型的代码可在 https://github.com/huawei-csl/SINQ 获取。