探索高效推理：面向CoT蒸馏的数据中心基准

数据中心化蒸馏，包括数据增强、选择和混合，为创建更小、更高效、并能保持强大推理能力的“学生”大语言模型（LLMs）提供了一条有前景的道路。然而，目前仍然缺乏一个全面的基准来系统地评估每种蒸馏方法的效果。本文介绍了DC-CoT，这是首个数据中心化基准，从方法、模型和数据三个维度研究了思维链（CoT）蒸馏中的数据操作。利用多种教师模型（例如，o4-mini、Gemini-Pro、Claude-3.5）和学生架构（例如，3B、7B参数），我们严格评估了这些数据操作对学生模型在多个推理数据集上的性能影响，重点关注同分布（IID）和异分布（OOD）泛化以及跨领域迁移。我们的发现旨在提供可行的见解并建立优化思维链蒸馏的数据中心化技术的最佳实践，最终促进开发更易获取和更具能力的推理模型。数据集可在 https://huggingface.co/datasets/rana-shahroz/DC-COT 找到，我们的代码分享在 https://anonymous.4open.science/r/DC-COT-FF4C/。