PAROAttention：视觉生成模型中高效稀疏和量化注意力的模式感知重排序

在视觉生成中，注意力机制的二次复杂度导致高昂的内存和计算成本，尤其是在高分辨率图像或多帧视频生成所需的更长令牌序列中。为了解决这个问题，先前的研究探索了稀疏化和量化等技术。然而，这些技术在低密度和减少位宽下（bitwidth）面临严峻挑战。通过系统分析，我们发现核心难点源于视觉注意力模式分散和不规则的特性。因此，我们没有引入专门的稀疏化和量化设计来适应这些模式，而是提出了一种替代策略：*重组*注意力模式以缓解挑战。受视觉特征提取局部聚合特性的启发，我们设计了一种新颖的**模式感知令牌重排序（Pattern-Aware token ReOrdering, PARO）**技术，该技术将多样化的注意力模式统一为硬件友好的块状模式。这种统一显著简化并增强了稀疏化和量化。我们评估了各种设计选择的性能-效率权衡，并最终确定了一种针对统一模式量身定制的方法。我们的方法**PAROAttention**在视频和图像生成中实现了无损指标，并取得了与全精度（FP）基线几乎相同的结果，同时在显著更低的密度（约20%-30%）和位宽（**INT8/INT4**）下运行，实现了**1.9倍**到**2.7倍**的端到端延迟加速。