反蒸馏采样

生成扩展推理轨迹的前沿模型会无意中产生丰富的 token 序列，这有助于模型蒸馏。意识到这种漏洞，模型所有者可能会寻求在不影响模型性能的情况下限制蒸馏效果的采样策略。反蒸馏采样正是提供了这种能力。通过策略性地修改模型的下一个 token 概率分布，反蒸馏采样会毒化推理轨迹，使其对于蒸馏的有效性显著降低，同时保留模型的实际效用。更多详情，请访问 https://antidistillation.com。