⏶15
Llama-3.1-FoundationAI-SecurityLLM-Base-8B 技术报告
发表
由 
Aman Priyanshu 提交
Aman Priyanshu 提交作者: 
Paul Kassianik, 
Baturay Saglam, Alexander Chen, Blaine Nelson, 
Anu Vellore, 
Massimo Aufiero, 
Fraser Burch, Dhruv Kedia, 
Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, 
Adam Swanda, Amy Chang, 
Hyrum Anderson, Kojin Oshiba, 
Omar Santos, 
Yaron Singer, Amin Karbasi
Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi摘要
随着基于 Transformer 的大型语言模型 (LLMs) 日益渗透社会，它们彻底改变了软件工程、创意写作和数字艺术等领域。然而，它们在网络安全领域的应用仍然有限，原因在于缺乏专门的训练数据以及表示网络安全特定知识的复杂性等挑战。为解决这些不足，我们提出了 Foundation-Sec-8B 模型，一个基于 Llama 3.1 架构、专注于网络安全的 LLM，并通过在精心策划的网络安全语料库上进行持续预训练得到增强。我们在现有和新的网络安全基准上评估了 Foundation-Sec-8B，结果显示，在某些特定的网络安全任务中，它与 Llama 3.1-70B 和 GPT-4o-mini 相当。通过向公众发布我们的模型，我们旨在加速 AI 驱动工具在公共和私人网络安全领域的进展和应用。
本文介绍了 Foundation-Sec-8B，这是一个专注于网络安全的大型语言模型 (LLM)，它基于 Llama 3.1 架构，并在专门的安全语料库上进行了持续预训练。评估表明，在安全领域的特定任务上，其性能可与更大的模型相媲美。该模型是一个公开发布的开源权重模型，旨在支持人工智能在网络安全领域内得到更广泛的应用 (https://huggingface.co/fdtn-ai/Foundation-Sec-8B)。