榴莲：具有属性迁移的参照双重引导肖像动画

我们提出了 Durian，这是第一个能够从给定参考图像到目标肖像生成具有面部属性转移的肖像动画视频的方法，并且是零样本的。为了在帧之间实现高保真和空间一致的属性转移，我们引入了双参考网络，将来自肖像和属性图像的空间特征注入扩散模型的去噪过程。我们使用自重构的制定来训练模型，其中从同一肖像视频中采样两帧：一帧作为属性参考，另一帧作为目标肖像，其余帧在这些输入及其对应的掩码的条件下进行重构。为了支持具有不同空间范围的属性转移，我们提出了一种使用关键点条件图像生成进行训练的掩码扩展策略。此外，我们还通过空间和外观层面的变换来增强属性和肖像图像，以提高它们之间位置失准的鲁棒性。尽管没有进行显式的三元组监督训练，但这些策略使模型能够有效地泛化到各种属性和现实中的参考组合。Durian 在肖像动画和属性转移方面取得了最先进的性能，值得注意的是，其双参考设计能够在单次生成过程中实现多属性组合，而无需额外训练。