Conifer: 提高大型语言模型复杂约束指令遵循能力
内容提要
本文介绍了针对大型语言模型（LLMs）的评估基准和改进方法，包括FollowBench、CELLO和CoDI-Eval，揭示了LLMs在复杂指令遵循方面的不足。研究提出了EasyInstruct框架和Ada-Instruct生成器，以提升指令生成和模型微调效果。此外，InstructGraph框架增强了LLMs的图推理能力，实验证明了其优越性能，并探讨了AI生成指令数据在复杂任务中的潜力。
延伸解读
评估基准揭示LLM约束遵循短板
文章介绍了FollowBench、CELLO和CoDI-Eval三个基准，分别从细粒度约束、复杂指令理解和约束响应等角度评估LLM。这些基准共同指出，LLM在遵循复杂约束时存在明显不足，且开源与闭源模型间差距显著。这提示研究者和开发者，在依赖LLM执行精确任务时，需谨慎评估其约束遵循能力，并针对性地进行改进。
指令生成与微调工具降低开发门槛
EasyInstruct框架将指令生成、选择和提示模块化，提供了标准化的开源实现，有助于解决指令处理方法不一致的问题。Ada-Instruct则通过少量样本微调开源LLM，生成分布一致的长指令，在代码补全、数学推理等任务上表现优于基线。这些工具降低了指令数据构建和模型微调的门槛，但实际效果可能因任务和模型而异。
图推理与代码编辑展现微调潜力
InstructGraph通过结构化格式化和图指令调整，增强了LLM的图推理与生成能力，并利用负例偏好对齐减少幻觉，在多个图任务上超越GPT-4和LLaMA2。在代码编辑方面，基于InstructCoder微调的开源LLM能正确执行评论插入、优化和重构等任务。这些案例表明，针对特定领域微调可显著提升LLM性能，但需注意任务泛化性和数据质量。
AI生成指令数据成为有前景的方向
Evol-Instruct使用LLM替代人类生成指令数据，通过逐步重写增加复杂度，所得指令在复杂度上优于人工创建，微调后的WizardLM在人类评估中输出质量超过ChatGPT。GPT-4生成的52K指令数据也显著提升了零样本性能。这显示AI生成指令数据是提升LLM的有效途径，但需关注数据偏差和评估可靠性。
Q&A
FollowBench是什么，它的作用是什么？
FollowBench是一个用于评估大型语言模型在遵循细粒度约束方面表现的基准，揭示了LLMs在指令遵循方面的不足。
CELLO基准如何评估大型语言模型的能力？
CELLO基准评估LLMs理解复杂指令的能力，构建了一个包含八个复杂指令特征的全面评估数据集。
Ada-Instruct的主要优势是什么？
Ada-Instruct是一种自适应指令生成器，通过微调开源LLMs生成一致的长指令，显示出在复杂推理任务中的优势。
InstructGraph框架的功能是什么？
InstructGraph框架增强了LLMs的图推理和生成能力，通过结构化格式化语言器和图指令调整阶段提高模型输出的可靠性。
Evol-Instruct方法的创新之处在哪里？
Evol-Instruct使用LLMs替代人类创建指令数据，通过逐步重写初始指令集生成更复杂的指令，显示出优于人工创建的指令。
如何提高大型语言模型的指令遵循能力？
通过使用EasyInstruct框架和Ada-Instruct生成器等方法，可以提升大型语言模型的指令生成和微调效果。
