LlaSMol：通过大规模、综合、高质量的指导调整数据集推进化学领域的大型语言模型
内容提要
本文综述大语言模型在化学与生物分子领域的应用进展，涵盖ChemLLM、InstructChem、ChemBERTa-2、Mol-Instructions、MolReGPT、InstructMol、BioInstruct等模型与数据集，涉及分子表示、反应预测、指令微调及多模态对齐，并探讨知识整合与可解释性等未来方向。
延伸解读
化学大语言模型的发展脉络
文章梳理了多个化学与生物分子领域的大语言模型，如ChemLLM、InstructChem、ChemBERTa-2等，时间跨度从2022年9月到2024年2月。这些模型分别针对不同任务：ChemLLM专注于对话交互，InstructChem提升推理能力，ChemBERTa-2优化分子预测。这反映了该领域从通用模型向专业化、多模态方向的快速演进。
指令微调数据集的多样化
为提升模型在化学与生物分子领域的适应性，研究者构建了多个指令数据集，如Mol-Instructions（涵盖分子、蛋白质和生物分子文本指令）和BioInstruct（包含超过25000个生物医学示例）。这些数据集针对特定任务设计，通过指令微调优化模型在信息提取、问答和文本生成等任务上的表现，推动了领域专用模型的发展。
多模态对齐与可解释性探索
文章提到InstructMol通过两阶段训练策略将分子结构与自然语言对齐，在药物发现任务上表现显著。同时，多模态基准ChEBI-20-MM评估了模型与数据模态的兼容性，并引入统计可解释方法揭示知识映射。这些工作表明，多模态融合和可解释性正成为化学大语言模型的重要研究方向。
Q&A
ChemLLM是什么？它有什么特点？
ChemLLM是第一个专门用于化学领域的大型语言模型，通过使用结构化化学知识构建对话系统，能够在化学学科中顺畅交互完成各种任务，包括名称转换、分子标题和反应预测，并在相关数学和物理任务中展现出出色的适应性。
GPT模型在化学任务中的表现如何？
GPT-4在化学任务中表现优于GPT-3.5和Davinci-003，但GPT模型在需要精确理解分子SMILES表示的任务中较为欠缺，而在文本相关的说明任务方面表现出较强的能力。
InstructChem是什么？它解决了什么问题？
InstructChem是一种新的结构化推理方法，旨在利用大型语言模型解决复杂的化学问题，极大地提升了LLMs的化学推理能力。
Mol-Instructions数据集包含哪些内容？
Mol-Instructions是一个为生物分子领域设计的全面指令数据集，包括分子指令、蛋白质指令和生物分子文本指令，旨在提高大型模型在生物分子领域的适应能力和认知敏锐度。
InstructMol模型是如何工作的？
InstructMol是一种多模态的大型语言模型，通过指令调整方法，利用有限的领域特定数据与分子和文本信息相结合的两阶段训练策略，将分子结构与自然语言有效地对齐，在药物发现相关的分子任务上取得了显著性能改进。
BioInstruct数据集是什么？它有什么用途？
BioInstruct是一个包含超过25000个示例的定制任务特定指令数据集，用于微调大型语言模型，以优化其在生物医学自然语言处理（BioNLP）领域的性能，特别是在信息提取、问答和文本生成能力方面。
