⏶5
我知道哪个LLM去年夏天写了你的代码:LLM生成代码文体学与作者归属分析
发表
由
Bilel Cherif 提交

作者: Tamas Bisztray,
Bilel Cherif,
Richard A. Dubniczky, Nils Gruschka, Bertalan Borsos,
Mohamed Amine Ferrag, Attila Kovacs, Vasileios Mavroeidis,
Norbert Tihanyi




摘要
检测AI生成的代码、深度伪造(deepfakes)和其他合成内容是一个新兴的研究挑战。随着大型语言模型(LLM)生成的代码变得越来越普遍,识别每个样本背后的特定模型变得越来越重要。本文首次对C程序的LLM作者归属问题进行了系统研究。我们发布了CodeT5-Authorship,这是一个新颖的模型,它仅使用原始CodeT5编码器-解码器架构中的编码器层,舍弃解码器以专注于分类。我们模型的编码器输出(第一个token)经过一个带有GELU激活和dropout的两层分类头,生成了可能作者的概率分布。为了评估我们的方法,我们引入了LLM-AuthorBench,这是一个包含32,000个可编译C程序的基准测试集,这些程序由八个最先进的LLM在不同任务中生成。我们将我们的模型与七种传统机器学习分类器和八种微调的Transformer模型进行了比较,其中包括BERT、RoBERTa、CodeBERT、ModernBERT、DistilBERT、DeBERTa-V3、Longformer和LoRA微调的Qwen2-1.5B。在二元分类中,我们的模型在区分由GPT-4.1和GPT-4o等密切相关模型生成的C程序方面达到了97.56%的准确率;在五种领先LLM(Gemini 2.5 Flash、Claude 3.5 Haiku、GPT-4.1、Llama 3.3和DeepSeek-V3)之间的多类别归属方面,准确率达到95.40%。为了支持开放科学,我们发布了CodeT5-Authorship架构、LLM-AuthorBench基准测试集以及所有相关的Google Colab脚本,可在GitHub上获取:https://github.com/LLMauthorbench/。
基于t5+的LLM作者归因模型