关于LLM(-Agent)全栈安全性的综合综述:数据、训练与部署

发表
Ningyu ZhangNingyu Zhang 提交
作者: Kun Wang, Guibin Zhang, Zhenhong Zhou, Jiahao Wu, Miao Yu, Shiqian Zhao, Chenlong Yin, Jinhu FuJinhu Fu, Yibo Yan, Hanjun LuoHanjun Luo, Liang Lin, Zhihao Xu, Haolang Lu, Xinye Cao, Xinyun Zhou, Weifei Jin, Fanci Meng, Junyuan Mao, Hao Wu, wangMinghe Wang, Fan Zhang, Junfeng Fang, Chengwei Liu, Yifan Zhang, Qiankun Li, Chongye Guo, Yalan Qin, Yi Ding, Donghai Hong, Jiaming Ji, Xinfeng Li, Yifan JiangYifan Jiang, Dongxia Wang, Yihao Huang, Yufei Guo, Jen-tse Huang, Yanwei Yue, Wenke Huang, Guancheng Wan, Tianlin Li, Lei Bai, Jie Zhang, Qing Guo, Jingyi Wang, Tianlong Chen, Joey Tianyi Zhou, Xiaojun Jia, Weisong Sun, Cong Wu, Jing Chen, Xuming Hu, Yiming Li, Xiao Wang, Ningyu ZhangNingyu Zhang, Luu Anh Tuan, Guowen Xu, Tianwei Zhang, Xingjun Ma, Xiang Wang, Bo An, Jun Sun, Mohit Bansal, Shirui Pan, Yuval Elovici, Bhavya Kailkhura, Bo Li, Yaodong Yang, Hongwei Li, Wenyuan Xu, Yizhou Sun, Wei Wang, Qing Li, Ke Tang, Yu-Gang Jiang, Felix Juefei-Xu, Hui Xiong, Xiaofeng Wang, Shuicheng Yan, Dacheng Tao, Philip S. Yu, Qingsong Wen, Yang Liu

摘要

大型语言模型(LLMs)的巨大成功,凭借其在各种应用中前所未有的表现,为学术界和工业界实现通用人工智能(AGI)指明了一条充满希望的道路。随着LLMs在研究和商业领域的地位不断提升,其安全和保障(safety and security)影响日益受到关注,不仅是研究人员和企业,也包括每个国家。当前,现有的LLM安全性综述主要关注LLM生命周期的特定阶段,例如部署阶段或微调阶段,缺乏对LLM整个“生命链”的全面理解。为了弥合这一空白,本文首次引入了“全栈”安全的理念,系统地考虑了LLM训练、部署以及最终商业化整个过程中的安全问题。与现有的LLM安全性综述相比,我们的工作展现出几个独特的优势:(I) 全面视角。我们将完整的LLM生命周期定义为包括数据准备、预训练、后训练、部署和最终商业化。据我们所知,这是第一份涵盖LLM整个生命周期的安全性综述。(II) 广泛的文献支持。我们的研究基于对800多篇论文的详尽回顾,确保在更全面的理解下对安全问题进行全面覆盖和系统组织。(III) 独到见解。通过系统的文献分析,我们为每个章节制定了可靠的路线图和观点。我们的工作确定了有前景的研究方向,包括数据生成中的安全、对齐技术、模型编辑以及基于LLM的智能体系统。这些见解为该领域未来研究的研究人员提供了宝贵的指导。
查看 arXiv 页面查看 PDF

评论

Ningyu ZhangNingyu Zhang
论文作者
论文提交者

本文首次引入了“全栈”安全的概念,以系统地考虑大语言模型(LLM)从训练、部署到最终商业化的整个过程中的安全问题。