Intern-S1：一个科学多模态基础模型

近年来，涌现了大量的开源基础模型，在一些备受关注的领域取得了显著进展，其性能已非常接近闭源模型。然而，在高价值但更具挑战性的科学专业领域，要么该领域仍然依赖专家模型，要么通用基础模型在该领域的进展明显滞后于热门领域，远不足以革新科学研究，且在这些科学领域，开源模型与闭源模型之间存在巨大差距。为了缓解这一差距并进一步探索通用人工智能（AGI），我们推出了 Intern-S1，这是一个专门的通才模型，具备理解和推理能力，并能分析多模态科学数据。Intern-S1 是一个多模态混合专家（MoE）模型，拥有 280 亿激活参数和 2410 亿总参数，经过 5T token 的持续预训练，其中包括来自科学领域的 2.5T token 以上。在后训练阶段，Intern-S1 在 InternBootCamp 中经历了离线和在线强化学习（RL），我们在此提出了混合奖励（MoR）以同时对超过 1000 个任务进行 RL 训练。通过算法、数据和训练系统的集成创新，Intern-S1 在在线 RL 训练中取得了顶级性能。在全面的评估基准上，Intern-S1 在通用推理任务上展示了与开源模型竞争的性能，并在科学领域显著优于开源模型，在分子合成规划、反应条件预测、晶体热力学稳定性预测等专业任务上超越了闭源最先进模型。我们的模型可在 https://huggingface.co/internlm/Intern-S1 获取。