书法家：自由风格文本图像定制

我们介绍 Calligrapher，一个新颖的基于扩散的框架，它创新性地将高级文本定制与艺术排版相结合，用于数字书法和设计应用程序。为了解决排版定制中精确的样式控制和数据依赖性等挑战，我们的框架包含三个关键的技术贡献。首先，我们开发了一种自蒸馏机制，该机制利用预训练的文本到图像生成模型本身以及大型语言模型来自动构建以样式为中心的排版基准。其次，我们通过一个可训练的样式编码器引入了一个局部化的样式注入框架，该编码器包括 Qformer 和线性层，用于从参考图像中提取鲁棒的样式特征。还采用了一种上下文生成机制，以直接将参考图像嵌入到去噪过程中，从而进一步增强目标样式的精确对齐。对各种字体和设计上下文进行的大量定量和定性评估证实了 Calligrapher 对复杂样式细节和精确字形定位的准确再现。通过自动化高质量、视觉上一致的排版，Calligrapher 超越了传统模型，从而增强了数字艺术、品牌推广和上下文排版设计中的创意从业者的能力。