重审VerilogEval：更新的LLM、上下文学习与规范到RTL任务
内容提要
本文探讨了微调大型语言模型（LLMs）在Verilog代码生成中的应用，提出了MEV-LLM架构，通过集成多个特定微调的LLMs，显著提升了代码生成的质量和正确性。此外，研究推出了RTL-Repo基准，以评估不同模型在复杂RTL项目中的表现，并提出变质提示测试以提高代码质量，展示了LLMs在硬件设计自动化中的潜力。
延伸解读
微调开源模型展现竞争力
文章指出，在Verilog数据集上微调后的开源CodeGen-16B模型，在功能正确性上优于商业GPT-3.5-turbo，并在多样化和复杂问题集中表现出竞争性能。这表明内部小型LLM在硬件设计自动化方面具有潜力，可能降低对商业模型的依赖，但需注意其优势是在特定微调场景下取得的。
基准测试推动领域发展
文章介绍了多个基准测试，如RTLLM、RTL-Repo和HumanEval，用于评估LLM在硬件设计和验证中的Verilog代码生成性能。这些基准为社区提供了比较不同模型的平台，并促进了针对复杂RTL项目的模型训练。RTL-Repo作为开源项目，特别关注多文件RTL项目，有助于推动真实场景下的应用。
多专家架构与提示技术提升质量
MEV-LLM架构通过集成多个针对不同设计复杂度微调的LLM，显著提高了生成Verilog代码的句法和功能正确性。同时，self-planning提示工程技术提升了GPT-3.5在RTLLM基准上的性能。这些方法展示了结合架构创新和提示优化可以改善代码生成质量，但实际部署时需考虑计算成本和集成复杂度。
代码质量检测与持续改进
变质提示测试能检测出GPT-4生成的75%错误程序，误报率为8.6%，为评估LLM生成代码的正确性提供了新手段。此外，CodeV系列开源指令调优模型在Verilog评估和RTLLM上分别提升了14.4%和11.3%，相比GPT-4在Verilog评估上提高了22.1%。这些进展表明LLM在硬件设计自动化中正持续改进，但错误检测和模型优化仍是关键挑战。
Q&A
MEV-LLM架构的主要特点是什么？
MEV-LLM架构集成了多个经过特定微调的LLMs，针对不同复杂度的Verilog代码生成进行优化。
如何评估LLMs在Verilog代码生成中的表现？
通过推出RTL-Repo基准，评估多个模型在复杂RTL项目中的表现。
CodeGen-16B模型与GPT-3.5-turbo模型相比有什么优势？
CodeGen-16B模型在功能正确性上优于GPT-3.5-turbo模型，并在复杂问题上表现出竞争力。
变质提示测试的目的是什么？
变质提示测试旨在提高由大型语言模型生成的代码的质量和正确性，能够检测到75%的错误程序。
CodeV系列开源指令调优Verilog生成LLM的效果如何？
CodeV系列在Verilog评估中提升了14.4%，在RTLLM领域提升了11.3%。
LLMs在硬件设计自动化中的潜力如何？
LLMs在生成正确Verilog代码方面显示出显著潜力，推动了硬件设计的自动化进程。
