BiomedSQL: 基于生物医学知识库进行科学推理的文本到SQL

生物医学研究人员越来越依赖大规模结构化数据库进行复杂的分析任务。然而，当前的文本到 SQL 系统通常难以将定性科学问题映射到可执行的 SQL 语句，尤其当需要隐式领域推理时。我们引入了 BiomedSQL，这是第一个明确设计用于评估在真实世界生物医学知识库上进行文本到 SQL 生成中的科学推理能力的基准。BiomedSQL 包含 6.8 万个问题/SQL 查询/答案三元组，这些数据基于一个整合了基因-疾病关联、组学数据的因果推断和药物批准记录的规范化 BigQuery 知识库。每个问题都要求模型推断领域特定的标准，例如全基因组显著性阈值、效应方向性或试验阶段过滤，而不是仅仅依赖于语法翻译。我们在不同的提示策略和交互范式下评估了一系列开源和闭源大型语言模型。我们的结果揭示了显著的性能差距：GPT-o3-mini 取得了 59.0% 的执行准确率，而我们定制的多步代理 BMSQL 达到了 62.6%，两者都远低于专家基线 90.0%。BiomedSQL 为推进能够通过对结构化生物医学知识库进行鲁棒推理来支持科学发现的文本到 SQL 系统提供了新的基础。我们的数据集公开可用，网址为 https://huggingface.co/datasets/NIH-CARD/BiomedSQL，我们的代码是开源的，网址为 https://github.com/NIH-CARD/biomedsql。