通过噪声感知引导缓解去噪生成模型的噪声偏移

现有的去噪生成模型依赖于求解离散化的反向时间 SDE 或 ODE。在本文中，我们发现了一类模型中一个长期被忽视但普遍存在的问题：预定义的噪声水平与采样过程中中间状态中编码的实际噪声水平之间存在不匹配。我们将这种不匹配称为噪声偏移。通过实证分析，我们证明了噪声偏移在现代扩散模型中普遍存在，并表现出系统性偏差，由于分布外泛化和不准确的去噪更新，导致生成效果不理想。为了解决这个问题，我们提出了 Noise Awareness Guidance (NAG)，一种简单但有效的方法，通过显式地引导采样轨迹与预定义的噪声调度保持一致来进行校正。我们进一步引入了 NAG 的一种无分类器变体，该变体通过噪声条件丢弃，同时训练一个噪声条件模型和一个无噪声条件模型，从而消除了对外部分类器的需求。大量的实验，包括 ImageNet 生成和各种有监督微调任务，表明 NAG 能够一致地缓解噪声偏移，并显著提高主流扩散模型的生成质量。