⏶45
S^2-Guidance：用于扩散模型无训练增强的随机自引导
发表
由 
taesiri 提交
taesiri 提交作者: Chubin Chen, Jiashu Zhu, Xiaokun Feng, Nisha Huang, Meiqi Wu, Fangyuan Mao, Jiahong Wu, Xiangxiang Chu, Xiu Li
摘要
无分类器指导（CFG）是现代扩散模型中一种广泛使用的技术，用于增强样本质量和提示遵循度。然而，通过对具有闭合解的高斯混合模型进行经验分析，我们观察到CFG产生的次优结果与真实情况之间存在差异。模型过度依赖这些次优预测常常导致语义不连贯和低质量输出。为了解决这个问题，我们首先通过实验证明，模型次优预测可以利用模型自身的子网络有效细化。基于这一见解，我们提出了S^2-Guidance，一种新颖的方法，它在正向过程中利用随机块丢弃来构建随机子网络，有效地引导模型避开潜在的低质量预测，转向高质量输出。在文本到图像和文本到视频生成任务上进行的大量定性定量实验表明，S^2-Guidance提供了卓越的性能，始终超越CFG和其他高级指导策略。我们的代码将发布。
> 无分类器引导 (CFG) 是现代扩散模型中广泛使用的技术，用于增强样本质量和提示遵循度。然而，通过对具有闭合形式解的高斯混合建模进行经验分析，我们观察到 CFG 产生的次优结果与真实值之间存在差异。模型过度依赖这些次优预测通常会导致语义不连贯和低质量输出。为了解决这个问题，我们首先通过实验证明，模型的次优预测可以通过模型自身的子网络有效地进行精炼。基于这一见解，我们提出了 S^2-Guidance，一种新颖的方法，它利用前向过程中的随机块丢弃来构建随机子网络，有效地引导模型远离潜在的低质量预测，转向高质量输出。在文本到图像和文本到视频生成任务上进行的广泛定性和定量实验表明，S^2-Guidance 表现出卓越的性能，始终超越 CFG 和其他先进的引导策略。我们的代码将发布。