Sci-Fi：用于帧插值的对称约束

帧间插值旨在根据给定的起始帧和结束帧合成中间视频序列。当前最先进的方法主要通过直接微调或省略训练来将大规模预训练的图像到视频扩散模型（I2V-DMs）扩展，通过纳入结束帧约束。我们发现了它们设计中的一个关键限制：它们注入结束帧约束的方式通常使用最初施加起始帧（单张图像）约束的相同机制。然而，由于原始 I2V-DMs 事先已经对起始帧条件进行了充分训练，而通过相同机制（甚至零训练）引入结束帧约束很可能无法使结束帧像起始帧那样对中间内容产生足够强的影响。这两帧对中间内容的这种不对称控制强度可能导致生成的帧中运动不一致或外观崩溃。为了高效地实现起始帧和结束帧的对称约束，我们提出了一种新颖的框架 Sci-Fi，它对训练规模较小的约束应用更强的注入。具体来说，它像以前一样处理起始帧约束，同时通过改进的机制引入结束帧约束。新机制基于一个精心设计的轻量级模块 EF-Net，该模块仅编码结束帧并将其扩展为注入到 I2V-DM 中的时间自适应帧级特征。这使得结束帧约束与起始帧约束一样强大，从而使我们的 Sci-Fi 能够在各种场景中生成更和谐的过渡。大量实验证明了我们的 Sci-Fi 相较于其他基线的优越性。