SciGLM: 自反射训练科学语言模型的指令注释和调整
内容提要
该文综述大语言模型在科学领域的应用与挑战：利用未标注数据自我训练提升推理能力；提出Logical-GLM注入逻辑以增强可解释性；SciTune框架提升科学多模态理解；将专门科学知识嵌入Llama 2，构建6.5万篇论文数据集；通过反思调整优化指令质量。同时指出LLM依赖偏颇数据、存在伦理风险，可能放大语言偏见，需确保安全公平使用。
延伸解读
自训练与逻辑注入：提升推理的两条路径
文章介绍了两种提升语言模型科学推理能力的方法：一是利用未标注数据进行自我训练和推理提高，通过微调在多个任务上达到SOTA；二是提出Logical-GLM，将逻辑注入语言模型，通过捕捉自由文本中的隐含规则并生成逻辑骨架来指导训练，从而提升文本生成的准确性和黑盒模型的可解释性。这两种方法分别从数据利用和结构引导入手，为科学语言模型的训练提供了不同思路。
科学知识嵌入的实践与局限
研究尝试将专门科学知识嵌入Llama 2，利用文本增强（风格转换和翻译）解决专业文本稀缺问题，并通过超参数优化在7b、13b和70b模型上验证。最终构建了包含65,000篇科学论文的数据集。但文章也指出，有效知识整合需要从多角度阅读文本，尤其在指导性格式下，且该研究凸显了将专业信息整合到LLM中的复杂性和局限性，提出了进一步改进的领域。
指令质量优化与多模态科学理解
文章提出reflection-tuning方法，利用Oracle LLM自省来提高数据中指令和回应的质量，实验证明用反思调整后的数据训练的LLMs在多个评估基准上优于使用现有数据集训练的模型。此外，SciTune框架通过调整LLMs以符合科学学科、概念和目标，提升科学多模态指令理解能力，在ScienceQA基准上LLaMA-SciTune各子类别均优于人类表现。这些工作表明指令质量和领域对齐对科学应用至关重要。
伦理风险与语言偏见放大
文章指出LLMs依赖庞大且有时偏颇的数据集，存在潜在伦理困境。生成式语言模型在数字应用中的广泛使用可能引发自我加强学习循环，放大现有语言偏见，影响未来几代人的语言和认知发展。因此强调需要进行严格研究，确保这些强大技术的有效、安全和公平使用，同时保持人类语言的丰富性和多样性。这提醒读者在推进科学应用时需关注数据偏见和长期社会影响。
Q&A
SciGLM 如何利用未标注数据提升科学语言模型的推理能力？
SciGLM 通过自监督后训练和上下文学习，使用未标注数据进行自我训练和推理提高，并通过 fine-tuning 在多个任务上达到了 SOTA 水平。
Logical-GLM 是什么？它如何提高语言模型的可解释性？
Logical-GLM 是一种将逻辑注入语言模型的新型基于图的语言模型。它通过捕捉自由形式文本中的隐含规则，生成逻辑骨架以指导训练，并使用逻辑图反映语言模型的内在机制，从而提高黑盒模型的可解释性。
SciTune 框架在科学多模态理解方面有什么效果？
SciTune 框架通过调整大型语言模型以符合科学学科、概念和目标，提高了 LLMs 理解科学多模态指令的能力。在 ScienceQA 基准测试中，LLaMA-SciTune 在各个子类别上均优于人类表现，也优于仅使用机器生成数据调整的模型。
将专门科学知识嵌入 Llama 2 时遇到了哪些挑战？
将专门科学知识嵌入 Llama 2 需要从多个角度阅读文本，尤其是指导性格式。专业文本稀缺，需用文本增强（风格转换和翻译）解决，超参数优化至关重要。不同尺寸模型（7b、13b、70b）在额外训练中表现合理，但研究凸显了整合专业信息的复杂性和局限性。
reflection-tuning 方法是如何优化大型语言模型的？
reflection-tuning 利用 Oracle LLM 自省和提高数据中指令和回应的质量，从而优化大型语言模型。实验证明，用反思调整后的数据训练的 LLMs 在各种测评中表现优于使用现有数据集训练的模型。
大型语言模型在科学领域应用可能带来哪些伦理风险？
大型语言模型依赖庞大且有时偏颇的数据集，可能引发伦理困境，并可能不经意地引发自我加强学习循环，放大现有的语言偏见，影响未来几代人的语言和认知发展。因此需要进行严格研究，确保有效、安全和公平使用。
