通过边际数据传输蒸馏进行三维生成的少步流程

基于流的3D生成模型通常需要在推理过程中进行几十次采样。尽管少步蒸馏方法，特别是一致性模型（CM），在加速2D扩散模型方面取得了实质性进展，但对于更复杂的3D生成任务，它们仍未得到充分探索。在本研究中，我们提出了一种新颖的框架MDT-dist，用于少步3D流蒸馏。我们的方法基于一个主要目标：蒸馏预训练模型以学习边际数据传输（Marginal-Data Transport）。直接学习此目标需要集成速度场，而此积分在实现上是难以处理的。因此，我们提出了两个可优化的目标：速度匹配（VM）和速度蒸馏（VD），以等效地将优化目标从传输级别转换为速度级别和分布级别。速度匹配（VM）旨在稳定地匹配学生和教师之间的速度场，但不可避免地提供有偏差的梯度估计。速度蒸馏（VD）通过利用学习到的速度场进行概率密度蒸馏，进一步增强了优化过程。在先驱3D生成框架TRELLIS上进行评估时，我们的方法将每个流Transformer的采样步数从25减少到1或2，在A800上实现了0.68秒（1步x2）和0.94秒（2步x2）的延迟，分别实现了9.0倍和6.5倍的加速，同时保持了高视觉和几何保真度。大量实验表明，我们的方法显著优于现有的CM蒸馏方法，并使TRELLIS在少步3D生成方面取得了卓越的性能。