OmniInsert: 通过扩散 Transformer 模型实现任何参考的无掩码视频插入

基于扩散模型的视频插入最新进展令人印象深刻。然而，现有方法依赖于复杂的控制信号，但难以实现主体一致性，限制了其应用可行性。在本文中，我们专注于无遮 mask 视频插入任务，旨在解决三个关键挑战：数据稀缺、主体-场景平衡和插入协调。为解决数据稀缺问题，我们提出了一种新的数据管道 InsertPipe，自动构建多样化的跨对数据。在此数据管道的基础上，我们开发了 OmniInsert，一个新颖的统一框架，用于从单个和多个主体引用进行无 mask 视频插入。具体来说，为了保持主体-场景平衡，我们引入了一种简单而有效的条件特定特征注入机制，以独立注入多源条件，并提出了一种新颖的渐进式训练策略，使模型能够平衡来自主体和源视频的特征注入。同时，我们设计了主体焦点损失来改善主体的细节外观。为了进一步增强插入协调性，我们提出了一种插入偏好优化方法，通过模拟人类偏好来优化模型，并在引用时加入一个上下文感知重述模块，以将主体无缝集成到原始场景中。为了解决该领域基准测试的缺乏问题，我们引入了 InsertBench，一个包含多样化场景和精心选择的实体的综合基准。在 InsertBench 上的评估表明，OmniInsert 的性能优于最先进的闭源商业解决方案。代码将发布。