⏶50
DA-Flow：基于扩散模型的退化感知光流估计
发表
由 
Jaewon Min 提交
Jaewon Min 提交作者: Jaewon Min, 
Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim摘要
AI 生成总结
在高水平数据上训练的光流模型在面对现实世界的退化（如模糊、噪声和压缩伪影）时，其性能往往会严重下降。为了克服这一局限性，我们制定了退化感知光流（Degradation-Aware Optical Flow），这是一项针对从真实世界受损视频中精确估算密集对应关系的新任务。我们的核心见解是，图像修复扩散模型的中间表示本质上具有退化感知能力，但缺乏时间意识。为了解决这个问题，我们提升了模型，使其通过全时空注意力关注相邻帧，并凭经验证明生成的特征具有零样本对应能力。基于这一发现，我们提出了 DA-Flow，这是一种在迭代优化框架内将这些扩散特征与卷积特征相结合的混合架构。在多个基准测试中，DA-Flow 在严重退化的情况下大幅超越了现有的光流方法。在高质量数据上训练的光流模型在面对现实世界的退化（如模糊、噪声和压缩伪影）时，性能往往会严重下降。为了克服这一限制，我们制定了“退化感知光流”任务，这是一个旨在从现实世界受损视频中估计准确稠密对应关系的新任务。我们的核心见解是，图像修复扩散模型的中间表示天生具有退化感知能力，但缺乏时间感知。为了解决这一限制，我们通过全时空注意力提升模型，使其能够关注相邻帧，并从经验上证明了所得特征具有零样本对应能力。基于这一发现，我们提出了 DA-Flow，这是一种混合架构，在迭代优化框架内融合了这些扩散特征与卷积特征。在多个基准测试中，DA-Flow 在严重退化情况下的表现显著优于现有的光流方法。
在高质量数据上训练的光流模型在面对现实世界的模糊、噪声和压缩伪影等退化时，性能往往会严重下降。为了克服这一限制，我们制定了“退化感知光流”（Degradation-Aware Optical Flow），这是一项针对从现实世界退化视频中进行精确密集对应估计的新任务。我们的核心见解是，图像修复扩散模型的中间表示天生具有退化感知能力，但缺乏时间感知。为了解决这一局限性，我们通过全时空注意力机制提升模型，使其能够关注相邻帧，并从经验上证明所得特征表现出零样本对应能力。基于这一发现，我们提出了 DA-Flow，这是一种混合架构，在一个迭代细化框架内融合了这些扩散特征与卷积特征。DA-Flow 在多个基准测试的严重退化条件下，性能大幅超越现有的光流方法。