FLawN-T5: 法律推理的有效指导调整数据混合的实证研究
内容提要
本文探讨了大型语言模型（LLMs）指令调优的最新研究进展，提出了对比指令调优（CoIN）方法，以提高模型对未知指令的稳健性。研究表明，人工指导的数据集比合成数据更有效，并且通过优化数据使用，可以在较少数据下提升模型性能。此外，构建了日本指令数据集和BioInstruct数据集，以增强模型在特定领域的表现。
延伸解读
对比指令调优如何提升稳健性
文章指出，大型语言模型对未知指令的稳健性有限，当指令以变形或不同语言风格表达时，输出可能不一致。为此提出的对比指令调优（CoIN）通过最大化语义等效指令对的隐藏表示相似性、最小化不同语义指令对的相似性，在PromptBench基准上使模型在字符、词、句子和语义级别的稳健性持续提升，平均准确率提高2.5%。这为改善模型对未见指令的泛化提供了一种可行思路。
人工数据与合成数据的效率差异
基于40k人工指导的指令数据集对7B到33B模型进行数百个检查点的实验发现，人工指导的数据在效率上明显优于GPT-4的合成数据，且随着数据量增加能持续提升模型性能，而合成数据无法达到这种效果。此外，某些能力更容易受数据量和参数规模影响，可通过有限数据有效训练，而另一些能力则对这些变化高度抵抗。这提示数据构建应优先考虑人工质量而非单纯规模。
领域专用指令数据集的构建价值
文章介绍了日本指令数据集和BioInstruct数据集。日本指令数据集应用于日本预训练基础模型，通过低秩调整（LoRA）验证了其有效性，表明即使相对较小的模型也能通过指令调整提升下游任务性能。BioInstruct包含超过25000个生物医学示例，用于微调LLaMA模型，评估信息提取、问答和文本生成能力。这些工作说明针对特定语言或领域构建指令数据集，能有效增强模型在相应场景的表现。
数据高效利用的实践启示
文章提到LTD指令调优方法，从减少数据使用、优化任务性能等角度提高数据利用效率。实验表明，使用少于原始数据集0.5%的数据训练任务特定模型，性能可比使用完整任务相关数据训练的模型提升2%。这提示在实际应用中，通过精心选择与任务相关的少量数据，可能比盲目扩大数据量更有效，尤其对于资源有限的领域或场景。
Q&A
什么是对比指令调优（CoIN）方法？
对比指令调优（CoIN）方法通过最大化语义上等效的指令实例对的相似性，提升模型对未知指令的稳健性，平均准确率提高了2.5%。
人工指导的数据集与合成数据相比有什么优势？
人工指导的数据集在效率上优于合成数据，并且可以通过有限数据有效训练某些能力，随着数据量增加，模型性能不断提高。
如何通过优化数据使用提升模型性能？
通过优化数据使用，可以在较少数据下提升模型性能，实验表明使用少于原始数据集的0.5%也能提高性能2%。
日本指令数据集的构建目的是什么？
构建日本指令数据集旨在增强模型在特定领域的表现，特别是在日本预训练基础模型上的应用。
BioInstruct数据集的主要内容是什么？
BioInstruct是一个包含超过25000个示例的定制任务特定指令数据集，旨在优化LLMs在生物医学自然语言处理领域的性能。
指令调优（IT）在大型语言模型中的重要性是什么？
指令调优（IT）是增强和可控大型语言模型能力的关键技术，能够改善模型对未知任务的性能。
