通过启发式适应和超级词元学习实现语言模型中的分词器灵活性

预训练语言模型 (LLMs) 常常受限于其固定的分词方案，这会导致效率低下和性能限制，特别是对于多语言或专业应用。这种分词器锁定带来了严峻挑战。克服这一问题的标准方法通常需要高昂的计算资源。尽管采用启发式初始化进行分词器替换旨在减轻这一负担，但现有方法通常需要全面的残差微调，并且可能仍无法完全保留语义细微之处或充分解决潜在的压缩效率低下问题。我们的框架引入了两项创新：第一，Tokenadapt，一种模型无关的分词器移植方法；第二，新颖的针对多词Supertoken的预分词学习，以增强压缩并减少碎片化。Tokenadapt 通过一种混合启发式方法初始化新的唯一词元嵌入，该方法结合了两种方式：一种是基于使用旧分词器的子词分解的局部估计，另一种是利用原始词汇表中语义最相似的前k个词元的全局估计。这种方法旨在保留语义，同时显著减少再训练需求。经验研究验证了这两项贡献：移植启发式方法成功初始化了唯一词元，显著优于传统基线以及包括 Transtokenizer 和 ReTok 在内的复杂方法，而我们的 Supertoken 则取得了显著的压缩收益。我们的零样本困惑度结果表明，与 ReTok 和 TransTokenizer 基线相比，TokenAdapt 混合初始化在不同的基础模型和新训练的目标分词器上始终产生更低的困惑度比率。与 ReTok 相比，TokenAdapt 通常显著降低了整体困惑度比率，在这些综合得分上至少带来了 2 倍的改进。