Thyme：超越图像的思考

继OpenAI提出“图像思考”概念之后，最近的努力探索了刺激在推理过程中使用视觉信息，以增强模型在感知和推理任务中的性能。然而，据我们所知，目前还没有开源工作提供像专有模型（O3）那样丰富的功能集，该功能集可以执行各种图像操作，并通过代码同时增强逻辑推理能力。在本文中，我们通过引入Thyme（Think Beyond Images）在该方向进行了初步尝试，这是一种新颖的范式，旨在使多模态大型语言模型（MLLMs）通过自主生成和执行可执行代码的各种图像处理和计算操作，超越现有的“图像思考”方法。这种方法不仅促进了丰富的即时图像操作（例如，裁剪、旋转、对比度增强），还允许进行数学计算，同时在决定何时以及如何应用这些操作时保持高度自主性。我们通过两阶段训练策略激活了这项能力：首先对包含50万个样本的精选数据集进行初始SFT（监督微调）以教授代码生成，然后进入RL（强化学习）阶段以完善决策。在RL阶段，我们手动收集和设计高分辨率问答对以增加学习难度，并提出了GRPO-ATS（Group Relative Policy Optimization with Adaptive Temperature Sampling），这是一种对文本和代码生成应用不同温度的算法，以平衡推理探索与代码执行精度。我们进行了广泛的实验分析和消融研究。在近20个基准测试上的综合评估表明，Thyme产生了显著且一致的性能提升，特别是在具有挑战性的高分辨率感知和复杂推理任务中。