3DV-TON：通过扩散模型实现的纹理 3D 引导的一致视频试穿

视频试穿将视频中的服装替换为目标服装。现有方法在处理复杂服装图案和多样身体姿势时，难以生成高质量和时间一致的结果。我们提出了3DV-TON，一种新颖的基于扩散的框架，用于生成高保真和时间一致的视频试穿结果。我们的方法采用生成的、可动画纹理的3D网格作为显式帧级指导，缓解了模型过度关注外观保真度而牺牲运动连贯性的问题。这是通过实现对整个视频序列中一致服装纹理运动的直接参考来实现的。所提出的方法具有一个自适应管道，用于生成动态3D指导：(1) 选择一个关键帧进行初始2D图像试穿，然后 (2) 重建和动画化一个与原始视频姿势同步的纹理3D网格。我们进一步引入了一种稳健的矩形遮罩策略，成功减轻了动态人体和服装运动过程中服装信息泄漏引起的伪影传播。为了推动视频试穿研究，我们引入了HR-VVT，一个包含130个具有多样服装类型和场景的高分辨率基准数据集。定量和定性结果表明，我们的性能优于现有方法。项目页面链接：https://2y7c3.github.io/3DV-TON/