StyleMM：基于文本驱动对齐图像翻译的风格化 3D 可变形人脸模型

我们引入了StyleMM，这是一个新颖的框架，能够根据用户定义的文本描述（指定目标风格）构建风格化3D可变形模型（3DMM）。基于一个预训练的网格变形网络和用于原始3DMM逼真人脸的纹理生成器，我们的方法使用通过文本引导的图像到图像（i2i）翻译（使用扩散模型）生成的风格化面部图像对这些模型进行微调，这些图像作为渲染网格的风格化目标。为了防止i2i翻译过程中身份、面部对齐或表情出现不必要的改变，我们引入了一种明确保留源图像面部属性的风格化方法。通过在图像风格化过程中保持这些关键属性，所提出的方法确保了通过基于图像的训练在3DMM参数空间中实现一致的3D风格迁移。一旦训练完成，StyleMM可以前向生成风格化的面部网格，并能明确控制形状、表情和纹理参数，生成具有一致顶点连接和可动画性的网格。定量和定性评估表明，我们的方法在身份层面的人脸多样性和风格化能力方面优于现有最先进的方法。代码和视频可在[kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page)获取。