⏶9
Follow-Your-Shape:通过轨迹引导区域控制实现形状感知图像编辑
发表
由
Mingzhe Zheng 提交
作者: Zeqian Long, Mingzhe Zheng, Kunyu Feng, Xinhua Zhang, Hongyu Liu, Harry Yang, Linfeng Zhang, Qifeng Chen, Yue Ma
摘要
尽管最近基于流的图像编辑模型在各种任务中展现出通用能力,但它们在具有挑战性的场景中,特别是涉及大规模形状转换的场景中,往往难以实现专业化。在执行此类结构性编辑时,这些方法要么未能实现预期的形状变化,要么无意中改变了非目标区域,导致背景质量下降。我们提出了Follow-Your-Shape,一个无需训练和无需掩码的框架,支持对象形状的精确和可控编辑,同时严格保留非目标内容。受到反演和编辑轨迹之间差异的启发,我们通过比较反演和去噪路径之间的逐令牌速度差异来计算轨迹差异图(TDM)。TDM能够精确定位可编辑区域,并指导计划的KV注入机制,确保稳定和忠实的编辑。为了促进严格的评估,我们引入了ReShapeBench,这是一个新的基准,包含120张新图像和专门为形状感知编辑策划的丰富提示对。实验表明,我们的方法实现了卓越的可编辑性和视觉保真度,特别是在需要大规模形状替换的任务中。

项目:https://follow-your-shape.github.io/
代码:https://github.com/mayuelala/FollowYourShape