连续上下文:基于指令的图像编辑的连续强度控制

发表
Or PatashnikOr Patashnik 提交
作者: Rishubh Parihar, Or PatashnikOr Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

摘要

AI 生成总结
Kontinuous Kontext 是一种指令驱动的图像编辑模型,它引入了一个标量编辑强度,用于精细控制编辑的程度,采用了轻量级的投影仪网络和图像-编辑-指令-强度四元组合成数据集。
基于指令的图像编辑提供了一种通过自然语言来操作图像的强大而直观的方式。然而,仅依赖文本指令会限制对编辑程度的精细控制。我们提出了 Kontinuous Kontext,一个由指令驱动的编辑模型,它为控制编辑强度提供了一个新的维度,使用户能够以平滑连续的方式将编辑从无变化逐渐调整到完全实现的结果。Kontinuous Kontext 扩展了一个最先进的图像编辑模型,使其能够接受额外的输入——一个标量编辑强度,该强度随后与编辑指令配对,从而实现对编辑程度的显式控制。为了注入这个标量信息,我们训练了一个轻量级的投影网络,该网络将输入的标量和编辑指令映射到模型调制空间中的系数。为了训练我们的模型,我们使用现有的生成模型合成了图像-编辑-指令-强度四元组的多样化数据集,然后进行过滤阶段以确保质量和一致性。Kontinuous Kontext 提供了一种统一的方法,可以对从细微到强烈的指令驱动编辑进行精细的编辑强度控制,涵盖风格化、属性、材质、背景和形状变化等各种操作,而无需进行特定属性的训练。
查看 arXiv 页面查看 PDF

评论

Or PatashnikOr Patashnik
论文作者
论文提交者

https://snap-research.github.io/kontinuouskontext/