SANA-Video：使用块状线性扩散Transformer实现高效视频生成

我们推出了 SANA-Video，一个小型扩散模型，能够高效生成高达 720x1280 分辨率和分钟级时长的视频。SANA-Video 以极快的速度合成高分辨率、高质量和长时视频，并具有强大的文本-视频对齐能力，可在 RTX 5090 GPU 上部署。两个核心设计确保了我们高效、有效且长视频生成：(1) 线性 DiT：我们利用线性注意力作为核心操作，考虑到视频生成中处理的大量 token，它比 vanilla 注意力更高效。(2) 块线性注意力的恒定内存 KV 缓存：我们通过采用恒定内存状态（源自线性注意力的累积特性）来设计块状自回归方法，用于长视频生成。此 KV 缓存以固定的内存成本为线性 DiT 提供全局上下文，消除了对传统 KV 缓存的需求，并实现了高效的、分钟级的视频生成。此外，我们探索了有效的数据过滤器和模型训练策略，将训练成本缩小到 64 个 H100 GPU 上的 12 天，仅占 MovieGen 成本的 1%。鉴于其低成本，SANA-Video 在与现代最先进的小型扩散模型（例如 Wan 2.1-1.3B 和 SkyReel-V2-1.3B）相比时，取得了有竞争力的性能，同时在测量的延迟方面快 16 倍。此外，SANA-Video 可以在 RTX 5090 GPU 上使用 NVFP4 精度进行部署，将生成 5 秒 720p 视频的推理速度从 71 秒加速到 29 秒（加速 2.4 倍）。总之，SANA-Video 实现了低成本、高质量的视频生成。