SoftCoT++：结合软思维链推理的测试时扩展

测试时缩放 (TTS) 指的是通过在推理过程中分配额外的计算资源，但不改变模型的参数，来提高推理性能的方法。虽然现有 TTS 方法在离散词元空间中通过生成更多中间步骤来操作，但 Coconut 和 SoftCoT 的最新研究表明，在连续潜在空间中思考可以进一步提升推理性能。这种潜在思维编码了信息丰富的思考过程，避免了与自回归词元生成相关的信息损失，从而激发了对连续空间推理的兴趣。与离散解码不同，离散解码通过重复采样来探索多样化的推理路径，连续空间中的潜在表示对于给定输入是固定的，这限制了多样化探索，因为所有解码路径都源自相同的潜在思维。为了克服这一局限性，我们引入了 SoftCoT++，旨在将 SoftCoT 扩展到测试时缩放范式，通过实现思考路径的多样化探索。具体来说，我们通过多个专门的初始 tokens 来扰动潜在思维，并应用对比学习来促进软思维表示之间的多样性。跨越五个推理基准和两种不同的 LLM 架构的实验表明，SoftCoT++ 显著提升了 SoftCoT 的性能，并且优于结合了自洽性缩放的 SoftCoT。此外，它还表现出与自洽性等传统缩放技术的强大兼容性。源代码可在 https://github.com/xuyige/SoftCoT 获取。