ParallelBench：理解扩散 LLM 中并行解码的权衡

虽然大多数自回归 LLM 都受限于逐个生成，但扩散 LLM (dLLM) 因其通过并行解码显著加速推理的潜力而引起了人们的广泛兴趣。尽管有这种前景，dLLM 中的条件独立性假设导致并行解码忽略了 token 依赖性，当这些依赖性很强时，不可避免地会降低生成质量。然而，现有研究在很大程度上忽略了这些固有的挑战，并且在标准基准测试（例如，数学和编码）上的评估不足以捕捉并行解码造成的质量下降。为了弥补这一差距，我们首先对并行解码进行了信息论分析。然后，我们从数据分布和解码策略两个角度对解析上可处理的合成列表操作进行了案例研究，提供了量化见解，突出了并行解码的基本局限性。基于这些见解，我们提出了 ParallelBench，这是第一个专门为 dLLM 设计的基准，它包含了对于人类和自回归 LLM 来说很简单，但对于 dLLM 在并行解码下却极其具有挑战性的实际任务。使用 ParallelBench，我们系统地分析了 dLLM 和自回归 LLM，揭示了：（i）在实际场景中，并行解码下的 dLLM 可能会遭受严重的质量下降，以及（ii）当前的并行解码策略难以根据任务难度调整其并行度，从而在不影响质量的情况下无法实现有意义的加速。我们的发现强调了创新解码方法迫切需要克服当前的速度-质量权衡。我们发布了我们的基准，以帮助加速真正高效的 dLLM 的开发。