TAPS：用于投机采样的任务感知建议分布

投机采样通过让轻量级草稿模型建议未来的 token，然后由较大的目标模型并行验证，从而加速自回归生成。然而在实践中，草稿模型通常在宽泛的通用语料库上训练，这使得投机采样质量对草稿训练分布的依赖程度尚不明确。我们使用在 MathInstruct、ShareGPT 及其混合数据变体上训练的轻量级 HASS 和 EAGLE-2 草稿模型研究了这一问题，并在 MT-Bench、GSM8K、MATH-500 和 SVAMP 上进行了评估。以接受长度衡量，特定任务训练产生了明显的专业化：MathInstruct 训练的草稿在推理基准测试中最强，而 ShareGPT 训练的草稿在 MT-Bench 中最强。混合数据训练提高了鲁棒性，但更大的混合比例在不同解码温度下并不占据主导地位。我们还研究了如何在推理时组合专业化草稿模型。朴素的权重平均效果不佳，而基于置信度的路由相比单领域草稿有所改进，合并树验证 (merged-tree verification) 在两种骨干模型上均产生了最高的整体接受长度。最后，置信度是比熵更有用的路由信号：被拒绝的 token 往往具有更高的熵，但置信度产生的基准级路由决策清晰得多。这些结果表明，投机采样的质量不仅取决于草稿架构，还取决于草稿训练数据与下游工作负载的匹配程度，并且专业化草稿模型在推理时组合比在权重空间组合效果更好。