⏶30
MOOSE-Chem3：迈向实验引导的假说排序，通过模拟实验反馈
发表
由 
Zonglin Yang 提交
Zonglin Yang 提交作者: 
Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, 
Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang
Wanhao Liu, Zonglin Yang, Jue Wang, Lidong Bing, Di Zhang, Dongzhan Zhou, Yuqiang Li, Houqiang Li, Erik Cambria, Wanli Ouyang摘要
假设排序是自动化科学发现的关键组成部分，尤其是在湿实验室实验成本高昂且通量受限的自然科学领域。现有方法侧重于实验前排序，仅依赖于大语言模型的内部推理，而未纳入实验的实证结果。我们引入了实验引导式排序任务，旨在基于已测试假设的结果对候选假设进行优先排序。然而，由于在自然科学领域反复进行真实实验是不切实际的，开发此类策略具有挑战性。为了解决这个问题，我们提出了一个基于三个领域先验假设的模拟器，将假设性能建模为与已知真实假设相似性的函数，并受噪声扰动。我们整理了一个包含124个附带实验报告结果的化学假设数据集，用以验证该模拟器。基于这个模拟器，我们开发了一种伪实验引导式排序方法，该方法基于共享的功能特性对假设进行聚类，并基于从模拟实验反馈中获得的洞察对候选假设进行优先排序。实验表明，我们的方法优于实验前基线方法以及强的消融对比。
本文介绍了一种新颖的设定：实验指导的假设排序，其中候选假设根据先前已测试假设的实验反馈获得优先排序。为了支持该领域的研究，这项工作提出了一种基于三个领域知情假设的模拟器，该模拟器无需昂贵的真实世界试验即可生成模拟实验反馈。该模拟器在包含124个化学假设的精选数据集上进行了验证，并且所得方法表现优于强大的实验前基线。这使得在经验验证昂贵或缓慢的科学领域中，关于反馈驱动的假设发现策略的可扩展研究成为可能。