⏶264
从代码基础模型到代理和应用：代码智能实用指南
发表
由 
Yang Jian 提交
Yang Jian 提交作者: Jian Yang, Xianglong Liu, Weifeng Lv, Ken Deng, Shawn Guo, Lin Jing, Yizhi Li, Shark Liu, Xianzhen Luo, Yuyu Luo, Changzai Pan, Ensheng Shi, Yingshui Tan, Renshuai Tao, 
Jiajun Wu, Xianjie Wu, Zhenhe Wu, Daoguang Zan, Chenchen Zhang, 
Wei Zhang, He Zhu, 
Terry Yue Zhuo, Kerui Cao, Xianfu Cheng, Jun Dong, Shengjie Fang, Zhiwei Fei, Xiangyuan Guan, Qipeng Guo, Zhiguang Han, Joseph James, Tianqi Luo, 
Renyuan Li, Yuhang Li, Yiming Liang, Congnan Liu, Jiaheng Liu, Qian Liu, Ruitong Liu, 
Tyler Loakman, Xiangxin Meng, Chuang Peng, Tianhao Peng, Jiajun Shi, Mingjie Tang, Boyang Wang, Haowen Wang, Yunli Wang, 
Fanglin Xu, Zihan Xu, Fei Yuan, 
Ge Zhang, 
Jiayi Zhang, Xinhao Zhang, Wangchunshu Zhou, Hualei Zhu, King Zhu, Brown Dai, Aishan Liu, Zhoujun Li, Chenghua Lin, Tianyu Liu, 
Chao Peng, Kai Shen, Libo Qin, Shuangyong Song, Zizheng Zhan, Jiajun Zhang, Jie Zhang, Zhaoxiang Zhang, Bo Zheng
Jian Yang, Xianglong Liu, Weifeng Lv, Ken Deng, Shawn Guo, Lin Jing, Yizhi Li, Shark Liu, Xianzhen Luo, Yuyu Luo, Changzai Pan, Ensheng Shi, Yingshui Tan, Renshuai Tao, Jiajun Wu, Xianjie Wu, Zhenhe Wu, Daoguang Zan, Chenchen Zhang, Wei Zhang, He Zhu, Terry Yue Zhuo, Kerui Cao, Xianfu Cheng, Jun Dong, Shengjie Fang, Zhiwei Fei, Xiangyuan Guan, Qipeng Guo, Zhiguang Han, Joseph James, Tianqi Luo, Renyuan Li, Yuhang Li, Yiming Liang, Congnan Liu, Jiaheng Liu, Qian Liu, Ruitong Liu, Tyler Loakman, Xiangxin Meng, Chuang Peng, Tianhao Peng, Jiajun Shi, Mingjie Tang, Boyang Wang, Haowen Wang, Yunli Wang, Fanglin Xu, Zihan Xu, Fei Yuan, Ge Zhang, Jiayi Zhang, Xinhao Zhang, Wangchunshu Zhou, Hualei Zhu, King Zhu, Brown Dai, Aishan Liu, Zhoujun Li, Chenghua Lin, Tianyu Liu, Chao Peng, Kai Shen, Libo Qin, Shuangyong Song, Zizheng Zhan, Jiajun Zhang, Jie Zhang, Zhaoxiang Zhang, Bo Zheng摘要
AI 生成总结
一份关于代码大语言模型的综合指南，涵盖了从数据整理到部署的整个生命周期，包括技术、权衡和研究与实践之间的差距。大型语言模型（LLM）通过将自然语言描述直接转化为功能代码，从根本上改变了自动化软件开发，并通过 Github Copilot (Microsoft)、Cursor (Anysphere)、Trae (ByteDance) 和 Claude Code (Anthropic) 等工具推动了商业应用。虽然该领域已从基于规则的系统发展到基于 Transformer 的架构，但在 HumanEval 等基准测试上的成功率已从个位数提高到 95% 以上。在这项工作中，我们对代码 LLM 进行了全面的综合和实践指导（一系列分析和探测实验），系统地检查了从数据整理到通过高级提示范式、代码预训练、监督微调、强化学习和自主编码代理进行后期训练的完整模型生命周期。我们分析了通用 LLM（GPT-4、Claude、LLaMA）和代码专用 LLM（StarCoder、Code LLaMA、DeepSeek-Coder 和 QwenCoder）的代码能力，批判性地检查了技术、设计决策和权衡。此外，我们阐述了学术研究（例如，基准测试和任务）与实际部署（例如，与软件相关的代码任务）之间的研究与实践差距，包括代码正确性、安全性、大型代码库的上下文感知以及与开发工作流的集成，并绘制了有前景的研究方向以满足实际需求。最后，我们进行了一系列实验，对代码预训练、监督微调和强化学习进行了全面分析，涵盖了扩展定律、框架选择、超参数敏感性、模型架构和数据集比较。
matt goodhand
били
none
Oleg Sorokin
Ihor
Leon
📜 论文概述
这是一篇关于代码大语言模型的权威综述。由全球数十家顶尖机构联合撰写，系统地概述了从基础模型到智能体应用的完整代码智能技术路径。
⏳ 演进背景
论文将编程演进分为六个阶段：从手动编码、工具辅助开发到框架驱动和人工智能辅助（当前阶段），并展望了未来人工智能驱动和人工智能自主编程的可能性。
🧬 核心框架
基础模型：比较了通用大语言模型和专用代码模型，详细介绍了从数据预处理到强化学习的完整生命周期训练。
评估系统：涵盖了从代码补全到仓库级开发等多种任务基准。
能力优化：侧重于具有可验证奖励的强化学习和多模态代码生成。
工程智能体：探索了在软件开发生命周期中运行的自主智能体系统。
安全与治理：提出了一个涵盖数据审计到运行时监控的全链风险框架。
实践指南：提供了模型训练的具体配置和优化策略。
🔭 关键洞察
当前研究基准与工业实践之间存在差距。
长上下文理解和智能体协作是进步的关键。
对代码安全和合规性的需求日益突出。
💡 价值主张
这项工作既是对领域发展的系统总结，也是连接学术研究与工业实施的实用指南，为代码智能的进一步发展提供了清晰的技术路线图。