UMO：通过匹配奖励来扩展多身份一致性以实现图像定制

图像定制的最新进展由于更强的定制能力而展现出广泛的应用前景。然而，由于我们人类对人脸更敏感，在保持一致身份的同时避免与多参考图像混淆身份仍然是一个重大挑战，这限制了定制模型在身份方面的可扩展性。为了解决这个问题，我们提出了 UMO，一个统一的多身份优化框架，旨在保持高保真度的身份保存并减轻身份混淆的可扩展性。通过“多对多匹配”范式，UMO 将多身份生成重新表述为一个全局分配优化问题，并通过在扩散模型上进行强化学习来广泛释放现有图像定制方法的多身份一致性。为了促进 UMO 的训练，我们开发了一个具有多参考图像的可扩展定制数据集，该数据集同时包含合成和真实部分。此外，我们提出了一种新的度量标准来衡量身份混淆。广泛的实验表明，UMO 不仅显著提高了身份一致性，还减少了几种图像定制方法上的身份混淆，在身份保持方面设定了开源方法的新最先进水平。代码和模型：https://github.com/bytedance/UMO