文本生成：超越离散词元采样

在标准自回归生成中，大型语言模型 (LLM) 预测下一个 token 的分布，采样一个离散 token，然后丢弃该分布，仅将采样的 token 作为新的输入传递。为了保留该分布的丰富信息，我们提出了输入混合 (MoI)，一种无需训练的自回归生成方法。在按照标准范例生成一个 token 后，我们构建了一个新的输入，将生成的离散 token 与之前丢弃的 token 分布混合。具体来说，我们采用贝叶斯估计方法，将 token 分布视为先验，将采样的 token 视为观测，并用连续的后验期望代替传统的 one-hot 向量作为新的模型输入。MoI 允许模型在整个生成过程中保持更丰富的内部表示，从而提高文本质量和推理能力。在数学推理、代码生成和博士级别问答任务上，MoI 在包括 QwQ-32B、Nemotron-Super-49B、Gemma-3-27B 和 DAPO-Qwen-32B 在内的多个模型上持续改进性能，且无需额外训练和计算开销可忽略不计。