DINGO: 针对扩散式大语言模型的约束推理

扩散式大型语言模型（Diffusion LLM）已成为传统自回归大型语言模型（Autoregressive LLM）的一种有前景的替代方案，在提高运行时效率方面具有巨大潜力。然而，现有的扩散模型缺乏可证明地强制执行用户指定的正式约束（如正则表达式）的能力，这使得它们在需要结构化输出（如固定模式JSON生成）的任务中不可靠。与顺序生成token的自回归模型不同，扩散式LLM并行预测一个token块。这种并行性使得为顺序token预测设计的传统受限解码算法在保留真实输出分布方面变得无效。为了解决这一限制，我们提出了DINGO，这是一种基于动态规划的受限解码策略，它既高效又可证明地保持分布。DINGO能够采样到模型预测分布下概率最高的输出字符串，同时严格满足用户指定的任何正则表达式。在标准符号数学和JSON生成基准测试中，DINGO相较于无约束推理实现了高达68个百分点的提升。