潜在细化解码：通过细化信念状态增强基于扩散的语言模型

自回归（AR）模型仍然是自然语言生成（NLG）的标准，但由于严格的顺序解码，其延迟仍然很高。最近受扩散模型启发的 LlaDA 和 Dream 等方法通过并行生成来缓解这一问题，但它们存在两个核心限制：信息丢失，因为非最终确定的 token 的预测分布在每一步都会被丢弃；以及过早承诺，即在缺乏充分全局协调的情况下做出局部决策。我们提出了潜在细化解码（LRD），这是一个包含潜在细化和预测反馈循环的两阶段框架。第一阶段将掩码位置维护为预测 token 和掩码 embedding 的分布混合体，使模型能够建立更具全局一致性的信念。第二阶段逐步确定置信度高的 token，同时保留不确定的 token 以进行迭代反馈。KL 散度动力学提供了一个原则性且可靠的收敛和提前停止标准。在代码（HumanEval +6.3，MBPP +2.6）和推理（GSM8K +2.9，MATH500 +3.8）方面的实验表明，LRD 在提高精度的同时，速度提升高达 10.6 倍，使其成为并行序列生成的强大且通用的替代方案。