XVerse：通过 DiT 调制实现对多主体身份与语义属性的一致性控制

在文本到图像生成中，实现对主体身份和语义属性（姿态、风格、光照）的细粒度控制，特别是对于多个主体，往往会损害扩散变换器（DiTs）的可编辑性和连贯性。许多方法会引入伪影或遭受属性纠缠。为了克服这些挑战，我们提出了一种新颖的多主体受控生成模型 XVerse。通过将参考图像转换为用于令牌特定文本流调制的偏移量，XVerse 能够在不破坏图像潜在或特征的情况下，对特定主体进行精确且独立的控制。因此，XVerse 提供了高保真、可编辑的多主体图像合成，并能强大控制个体主体特征和语义属性。这一进展显著提升了个性化和复杂场景的生成能力。