LLM 生成的 JavaScript 的隐藏 DNA：结构模式可实现高精度作者归属

在本文中，我们进行了首次大规模研究，探讨大型语言模型（LLMs）生成的JavaScript代码是否能揭示生成它的模型，从而实现可靠的作者归属和模型指纹识别。随着AI生成代码的迅速崛起，归属在检测漏洞、标记恶意内容和确保责任方面发挥着关键作用。虽然AI与人类的检测通常将AI视为一个单一类别，但我们表明，即使是同一家族或参数大小的模型，单个LLM也会留下独特的风格签名。为此，我们引入了LLM-NodeJS，一个包含20个大型语言模型生成的50,000个Node.js后端程序的 数据集。每个程序都有四种转换后的变体，产生了250,000个唯一的JavaScript样本，以及另外两种表示（JSIR和AST），用于多样化的研究应用。利用这个数据集，我们对传统的机器学习分类器和微调的Transformer编码器进行了基准测试，并引入了CodeT5-JSA，一个源自770M参数CodeT5模型但删除了其解码器并修改了分类头的自定义架构。它在五类归属任务上达到了95.8%的准确率，在十类任务上达到了94.6%，在二十类任务上达到了88.5%，超过了BERT、CodeBERT和Longformer等其他测试模型。我们表明，分类器捕获的是程序数据流和结构中更深的风格规律，而不是依赖于表面特征。因此，即使在代码被混淆、注释移除和经过大量转换后，归属仍然有效。为了支持开放科学和可复现性，我们在GitHub上发布了LLM-NodeJS数据集、Google Colab训练脚本和所有相关材料：https://github.com/LLM-NodeJS-dataset。