用于复制人工智能研究的可执行知识图谱

发表
Ningyu ZhangNingyu Zhang 提交
作者: Yujie Luo, Zhuoyun Yu, Xuehai Wang, Yuqi Zhu, Ningyu Zhang, Lanning Wei, Lun Du, Da Zheng, Huajun Chen

摘要

AI 生成总结
可执行知识图(xKG)通过整合科学文献中的技术见解和代码片段来增强AI研究的可复现性,提高了自动化复现任务的性能。
复制AI研究是大型语言模型(LLM)代理一项至关重要但又充满挑战的任务。现有方法通常由于背景知识不足和检索增强生成(RAG)方法的局限性而难以生成可执行代码,RAG方法未能捕捉到参考文献中隐藏的潜在技术细节。此外,先前的方法往往忽略了有价值的实现层面的代码信号,并且缺乏支持多粒度检索和重用的结构化知识表示。为了克服这些挑战,我们提出了可执行知识图(xKG),一个模块化且可插拔的知识库,可自动整合从科学文献中提取的技术洞察、代码片段和领域特定知识。当集成到具有两种不同LLM的三个代理框架中时,xKG在PaperBench上显示出显著的性能提升(o3-mini为10.9%),证明了其作为自动化AI研究复制的通用且可扩展解决方案的有效性。代码将在https://github.com/zjunlp/xKG发布。
查看 arXiv 页面查看 PDF

评论

Ningyu ZhangNingyu Zhang
论文提交者

我们提出了可执行知识图谱 (xKG),这是一种模块化、可插拔的知识库,可自动集成从科学文献中提取的技术洞察、代码片段和领域特定知识。