⏶23
ChemDFM-R:一个增强了原子化化学知识的化学推理大语言模型
发表
由
Zichen Zhu 提交

作者: Zihan Zhao, Bo Chen, Ziping Wan, Lu Chen, Xuanze Lin, Shiyang Yu, Situo Zhang, Da Ma, Zichen Zhu, Danyang Zhang, Huayang Wang, Zhongyang Dai, Liyang Wen, Xin Chen, Kai Yu
摘要
尽管大型语言模型(LLMs)取得了显著进展,但它们在化学等科学领域的应用仍然受限于浅薄的领域理解和有限的推理能力。在这项工作中,我们专注于化学这一特定领域,并开发了一种化学推理LLM,名为ChemDFM-R。我们首先构建了一个全面的原子化知识点数据集,以增强模型对化学基本原理和逻辑结构的理解。接着,我们提出了一种混合来源蒸馏策略,该策略将专家整理的知识与通用领域推理技能相结合,随后通过领域特定的强化学习来增强化学推理能力。在各种化学基准上的实验表明,ChemDFM-R 取得了最先进的性能,同时提供了可解释的、基于推理的输出。进一步的案例研究表明,明确的推理链显著提高了模型在现实世界的人机协作场景中的可靠性、透明度和实用性。
令人兴奋的工作!