⏶31
Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct 技术报告
发表
由 
Aman Priyanshu 提交
Aman Priyanshu 提交作者: 
Sajana Weerawardhena, 
Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, 
Amin Karbasi
Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi摘要
大型语言模型（LLM）在许多领域都取得了显著成功，但由于缺乏通用网络安全数据、表示复杂性以及安全和监管问题，它们在网络安全应用中的集成仍然有限。为了弥补这一空白，我们之前推出了 Foundation-Sec-8B，这是一种以网络安全为重点的 LLM，适用于下游任务的微调。然而，该模型并非为聊天式交互或指令遵循而设计。在本报告中，我们发布了 Foundation-Sec-8B-Instruct：一个专门为通用网络安全对话训练的模型。它建立在 Foundation-Sec-8B 的基础上，将领域特定知识与指令遵循、对话能力和与人类偏好的一致性相结合，以生成高质量、相关的响应。综合评估表明，Foundation-Sec-8B-Instruct 在一系列网络安全任务中优于 Llama 3.1-8B-Instruct，同时与其指令遵循性能相匹配。它在网络威胁情报和指令遵循任务方面也与 GPT-4o-mini 具有竞争力。我们设想 Foundation-Sec-8B-Instruct 将成为网络安全专业人员日常工作中不可或缺的助手。我们已在 https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct 公开提供该模型。
本文介绍了 Foundation-Sec-8B-Instruct，这是一种基于 Foundation-Sec-8B 基础模型，专注于网络安全的指令调优大型语言模型。评估表明，该模型在安全特定任务上的性能可与更大的模型相媲美。该模型是一个公开的开放权重模型，旨在支持网络安全领域中更多的人工智能应用 (https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct)。