ToonComposer：利用生成式后关键帧技术简化卡通制作流程

传统的卡通和动漫制作涉及关键帧、中间帧和上色等阶段，需要大量的人工劳动。尽管人工智能最近取得了进展，但现有方法通常分别处理这些阶段，导致误差累积和瑕疵。例如，中间帧生成方法难以处理大幅度运动，而上色方法则需要密集的逐帧线稿。为解决此问题，我们推出了 ToonComposer，这是一个将中间帧生成和上色统一到关键帧绘制之后单一阶段的生成模型。ToonComposer 采用稀疏线稿注入机制，利用关键帧线稿实现精确控制。此外，它使用一种卡通自适应方法，结合空间低秩适配器，将一个先进的视频基础模型调整到卡通领域，同时保持其时间先验的完整性。ToonComposer 仅需一张线稿和一个上色参考帧即可表现出色，同时也支持在任意时间位置使用多张线稿以实现更精确的动作控制。这种双重能力减少了人工工作量并提高了灵活性，为艺术家在实际工作场景中赋能。为了评估我们的模型，我们还创建了 PKBench，这是一个包含手绘线稿的基准，模拟了真实世界的使用案例。我们的评估表明，ToonComposer 在视觉质量、动作一致性和制作效率方面均优于现有方法，为人工智能辅助的卡通制作提供了更优越、更灵活的解决方案。