FreeMorph：利用扩散模型进行免调优的通用图像变形

我们提出了FreeMorph，这是首个无需微调的图像形变方法，能够适应具有不同语义或布局的输入。与现有依赖于微调预训练扩散模型并受时间限制及语义/布局差异影响的方法不同，FreeMorph无需针对每个实例进行训练即可实现高保真图像形变。尽管无需微调的方法具有效率和潜力，但由于多步去噪过程的非线性特性以及从预训练扩散模型继承的偏差，它们在保持高质量结果方面面临挑战。在本文中，我们引入FreeMorph以通过整合两项关键创新来解决这些挑战。1) 我们首先提出了一种感知引导的球面插值设计，通过修改自注意力模块来整合来自输入图像的显式引导，从而解决身份丢失问题并确保生成序列中的方向性过渡。2) 我们进一步引入了一种面向步长的变化趋势，它融合了来自每个输入图像的自注意力模块，以实现受控且一致的过渡，同时尊重两个输入。我们的广泛评估表明，FreeMorph优于现有方法，速度提高了10到50倍，并为图像形变领域建立了新的最先进水平。