自己卷自己？英伟达发布大模型 ChipNeMo，专为芯片设计定制
内容提要
英伟达发布了定制大语言模型ChipNeMo，用于芯片设计任务。该模型基于领域自适应技术，适应芯片设计领域，并在工程助手聊天机器人、EDA脚本生成和Bug总结与分析等应用中性能优于通用大语言模型。ChipNeMo参数规模较小，但性能超过更大的通用模型。目前仅供内部使用。
延伸解读
领域自适应：小模型超越大模型的关键
ChipNeMo 基于 LLaMA2 进行领域自适应，通过定制分词器、领域自适应预训练、监督微调、检索增强生成等技术，使 130 亿参数模型在芯片设计任务上达到或超过 700 亿参数的通用模型。这表明，针对特定领域优化，小模型也能具备强大性能，同时降低推理成本。
内部数据与成本：开源难，普及亦难
ChipNeMo 使用英伟达内部芯片设计数据训练，涉及敏感信息，未来开源可能性不大。其训练动用 128 个 A100 GPU，成本高昂，并非所有企业都能承受。这反映出定制大模型的高门槛，以及数据安全与成本对企业自研的制约。
芯片设计大模型：并非英伟达首创
在 ChipNeMo 之前，已有纽约大学利用 GPT-4 设计微处理器、中科院发布 ChipGPT 等研究。谷歌、英伟达也曾发布基于强化学习的芯片设计优化方案。ChipNeMo 的优势在于定制化与内部数据，使其在应用契合度与效率上更胜一筹。
Q&A
英伟达发布的ChipNeMo是什么？
ChipNeMo是英伟达发布的定制大语言模型，基于内部数据训练，专用于芯片设计任务，目前仅供内部使用。
ChipNeMo采用了哪些领域自适应技术？
ChipNeMo采用了定制分词器、领域自适应预训练、带有领域特定任务的监督微调、领域适应检索模型和检索增强生成（RAG）等技术。
ChipNeMo在哪些芯片设计任务中进行了评估？
ChipNeMo在工程助手聊天机器人、EDA脚本生成和Bug总结与分析三个应用中被评估。
ChipNeMo的性能如何？
ChipNeMo在芯片设计任务中表现优于GPT-3.5，在设计知识和Bug基准测试上优于GPT-4，且130亿参数的定制模型性能达到或超过700亿参数的LLaMA2。
ChipNeMo是否开源？
ChipNeMo目前仅供内部使用，由于使用了英伟达内部数据训练，未来对外开源的可能性不大。
训练ChipNeMo使用了多少计算资源？
ChipNeMo使用128个A100 GPU进行训练，领域自适应预训练成本不足从零开始预训练基础模型总成本的1.5%。
