Tina：通过 LoRA 实现的微小推理模型

在语言模型中，可以多经济高效地实现强大的推理能力？受这个根本性问题的驱动，我们提出了 Tina，一个以高成本效率实现的一系列微型推理模型家族。值得注意的是，Tina 证明了，仅通过在强化学习 (RL) 期间应用参数高效更新（使用低秩适应 (LoRA)），到一个本身已经很小的 1.5B 参数基础模型上，就可以只使用极少的资源开发出显著的推理性能。这种极简主义方法产生的模型，其推理性能与构建在同一基础模型上的最先进 (SOTA) RL 推理模型具有竞争力，有时甚至超越。关键是，这仅以现有 SOTA 模型所使用的计算后训练成本的极小一部分实现。事实上，最好的 Tina 模型在 AIME24 上实现了 >20% 的推理性能提升和 43.33% 的 Pass@1 准确率，而其后训练和评估成本仅为 9 美元（即，估计成本降低了 260 倍）。我们的工作揭示了通过 LoRA 进行高效 RL 推理的惊人有效性。我们在多个开源推理数据集和各种消融设置中验证了这一点，从一个单一固定的超参数集开始。此外，我们假设这种有效性和效率源于 LoRA 快速调整模型以适应 RL 奖励的推理结构格式，同时在很大程度上保留了基础模型的底层知识。为了可访问性和开放研究，我们完全开源了所有代码、训练日志以及模型权重和检查点。