⏶20
代码图模型 (CGM)：一种集成图的大语言模型，用于代码仓库级软件工程任务
发表
由 
Ziyin Zhang 提交
Ziyin Zhang 提交作者: Hongyuan Tao, 
Ying Zhang, 
Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, 
Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, 
Linchao Zhu, Rui Wang, 
Hang Yu, Jianguo Li, Peng Di
Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di摘要
大型语言模型（LLMs）的最新进展在函数级代码生成方面显示出潜力，但仓库级软件工程任务仍然具有挑战性。目前的解决方案主要依赖于专有的 LLM 代理，这引入了不可预测性并限制了可访问性，引发了数据隐私和模型定制方面的担忧。本文探讨了开源 LLMs 是否能在不依赖代理方法的情况下有效解决仓库级任务。我们证明这是可能的，通过使 LLMs 能够通过其语义信息和结构依赖性来理解代码库中的函数和文件。为此，我们引入了代码图模型（CGMs），它将仓库代码图结构集成到 LLM 的注意力机制中，并使用专门的适配器将节点属性映射到 LLM 的输入空间。当与无代理图 RAG 框架结合时，我们的方法使用开源 Qwen2.5-72B 模型在 SWE-bench Lite 基准上实现了 43.00% 的解决率。这一性能在开源模型中排名第一，在开源系统方法中排名第二，总体排名第八，比之前的最佳开源模型方法提高了 12.33%。
我们提出了代码图模型 (CGMs)，它创新性地将代码仓库中的语义和结构信息集成到大型语言模型 (LLMs) 中，从而无需依赖代理或闭源模型，即可有效执行仓库级别的编码任务。