⏶3
ChiseLLM:释放推理大语言模型的强大力量,助力Chisel敏捷硬件开发
发表
由
Wang Bowei 提交

作者:
Bowei Wang,
Jiaran Gao,
Yelai Feng, Renzhi Chen,
Shanshan Li, Lei Wang

摘要
对领域专用架构 (DSA) 日益增长的需求推动了敏捷硬件开发方法学 (AHDM) 的发展。像 Chisel 这样的硬件构建语言 (HCL) 提供了高级抽象特性,使其成为基于 HCL 的 AHDM 的理想语言。尽管大语言模型 (LLMs) 在代码生成任务中表现出色,但在 Chisel 代码生成方面仍面临挑战,特别是在语法正确性和设计多样性方面。近期推理模型通过推理时缩放技术显著增强了代码生成能力。然而,我们发现没有进行领域适应的推理模型对于 Chisel 代码生成任务无法带来实质性益处。本文提出了 ChiseLLM,这是一个包含数据处理与转换、指令引导的推理轨迹合成以及领域适应的模型训练的解决方案。我们从公开的 RTL 代码资源中构建了高质量数据集,并通过指令增强方法引导模型采用结构化思维模式。实验表明,我们的 ChiseLLM-7B 和 ChiseLLM-32B 模型相对于基础模型,将语法正确性分别提高了 18.85% 和 26.32%,同时相对于基线推理模型,将设计多样性能力提高了 47.58%。我们的数据集和模型已公开可用,为基于 HCL 的 AHDM 提供了高性能、高成本效益的模型,并为未来的研究提供了有效的基线。Github 仓库:https://github.com/observerw/ChiseLLM
GitHub: https://github.com/observerw/ChiseLLM