⏶2
用于方差缩减流匹配的时间对一致性
发表
由
Chika Maduabuchi 提交
作者:
Chika Maduabuchi, Jindong Wang
摘要
AI 生成总结
时间对一致性(Temporal Pair Consistency)通过耦合成对时间步长的速度预测,减少了连续时间生成模型的方差,在不改变模型架构或训练程序的情况下提高了样本质量和效率。连续时间生成模型(如扩散模型、流匹配和修正流)学习时间依赖的向量场,但通常使用将时间步视为独立的目标函数进行训练,导致估算器方差高且采样效率低。先前的方法通过显式平滑惩罚、轨迹正则化或修改概率路径和求解器来缓解这一问题。我们引入了时间对一致性 (TPC),这是一种轻量级的方差缩减原则,它将同一概率路径上成对时间步的速预测耦合起来,完全在估算器层级运行,无需修改模型架构、概率路径或求解器。我们提供的理论分析表明,TPC 诱导出一种二次的、轨迹耦合的正则化,可证明在保留底层流匹配目标的同时减少梯度方差。TPC 在流匹配中实例化后,提升了 CIFAR-10 和 ImageNet 在多个分辨率下的采样质量和效率,在相同或更低的计算成本下实现了比先前方法更低的 FID,并能无缝扩展到现代 SOTA 风格的流水线,包括噪声增强训练、基于分数的去噪和修正流。
评论
论文作者
论文提交者
此评论已隐藏。