覆盖 7 百万问答数据，上海 AI Lab 发布 ChemLLM，专业能力比肩 GPT-4
内容提要
上海人工智能实验室发布了化学大语言模型ChemLLM，能够通过对话交互执行化学学科任务，性能与GPT-4相当。ChemLLM为化学研究开辟新道路，融入结构化化学知识，树立了新的大语言模型标准。
延伸解读
化学大模型面临的核心挑战
文章指出，将化学知识集成到语言模型中面临三大挑战：化学信息多以结构化数据库存储，直接训练可能损害自然语言能力；分子用SMILES等特殊符号表示，不符合自然语言规范，模型难以理解；化学任务种类繁多，设计灵活且泛化的训练流程困难。这些挑战解释了为何通用LLM在化学下游任务上表现欠佳，也是ChemLLM着力解决的问题。
ChemData与ChemBench的构建意义
为训练ChemLLM，研究团队构建了包含700万条问答数据的ChemData数据集，通过模板指令将结构化化学数据转为自然对话形式，覆盖分子、反应等多类任务。同时，他们创建了ChemBench基准，含4100道选择题和9项任务，旨在减少输出风格对评估的影响。这两个资源均已开源，为化学大模型的训练与评测提供了标准化基础。
ChemLLM的性能表现与评估
在化学能力评估中，ChemLLM在9项任务中有6项得分超过GPT-4，并全面超越GPT-3.5，明显优于同规模通用LLM。通用能力方面，其在MMLU和C-Eval上准确率分别为65.6和64.1，GSM8K达67.2，C-MHChem为76.4，超过GPT-4。这表明两阶段指令微调在增强化学专业性的同时，保留了通用语言与推理能力。
升级与可用性
ChemLLM已完成升级，ChemLLM-1.5接入RAG功能，支持深度挖掘化学文献、联网搜索及直接对话探讨文章内容。研究成果已开源并提供免费商用，HyperAI超神经官网也上线了一键部署ChemLLM-7B-chat的教程，用户可通过平台快速体验。这些举措降低了使用门槛，有助于推动化学领域的AI应用。
Q&A
ChemLLM的主要功能是什么？
ChemLLM能够通过对话交互执行化学学科任务，性能与GPT-4相当。
ChemLLM面临哪些主要挑战？
ChemLLM面临化学知识的结构化存储、特殊符号表示的理解和任务种类繁多的训练流程设计三大挑战。
ChemData数据集包含多少条问答数据？
ChemData数据集涵盖700万条问答数据。
ChemLLM的模型架构基于什么？
ChemLLM的模型架构基于InternLM2-Base-7B，通过两个阶段的指令微调训练得到。
ChemLLM在化学能力评估中表现如何？
ChemLLM在化学能力评估中明显优于类似规模的一般LLMs，并在9项任务中有6项得分比GPT-4高。
如何部署ChemLLM-7B-chat？
用户可以登录hyper.ai，按照教程选择一键部署ChemLLM-7B-chat的选项进行操作。
