MARBLE：CLIP空间中的材料重组与混合

基于示例图像编辑图像中物体的材质是计算机视觉和图形学领域的一个活跃研究方向。我们提出了 MARBLE，一种通过在 CLIP 空间中寻找材质嵌入并利用其控制预训练文本到图像模型来执行材质混合和重构细粒度材质属性的方法。我们通过在去噪 UNet 中找到负责材质归因的块来改进基于示例的材质编辑。给定两个材质示例图像，我们在 CLIP 空间中找到用于混合这些材质的方向。此外，我们可以使用一个浅层网络来预测所需材质属性变化的趋势，从而实现对粗糙度、金属度、透明度和发光度等细粒度材质属性的参数化控制。我们进行了定性和定量分析，以证明我们提出方法的有效性。我们还展示了我们的方法在单次前向传播中执行多次编辑的能力以及其在绘画方面的适用性。 项目页面：https://marblecontrol.github.io/