⏶23
LoRAShop:使用校正流Transformer的免训练多概念图像生成与编辑
发表
由
Yusuf Dalva 提交
作者:
Yusuf Dalva,
Hidir Yesiltepe,
Pinar Yanardag
摘要
我们引入了 LoRAShop,这是首个使用 LoRA 模型进行多概念图像编辑的框架。LoRAShop 基于对 Flux 风格扩散 Transformer 内部特征交互模式的一个关键观察:概念特定的 Transformer 特征在去噪过程早期会在空间上激活连贯的区域。我们利用这一观察结果,在先验前向传播中为每个概念推导出一个解耦的潜在掩码,并仅在界定待个性化概念的区域内混合相应的 LoRA 权重。由此产生的编辑可以无缝地将多个主体或风格集成到原始场景中,同时保留全局上下文、光照和精细细节。我们的实验表明,与基线方法相比,LoRAShop 提供了更好的身份保留。通过消除再训练和外部约束,LoRAShop 将个性化扩散模型变成了一个实用的“带 LoRA 的 Photoshop”工具,并为组合式视觉叙事和快速创意迭代开辟了新途径。
项目页面:https://lorashop.github.io/