RECOST: 基于外部知识引导的数据高效训练指导优化
内容提要
本文综述大语言模型指令微调中的数据优化研究，涵盖反思调优、对比指令调优、LESS数据选择、CoachLM自动修订等方法，通过提升数据质量、减少数据用量、增强指令鲁棒性，使模型以更少数据达到或超越全量训练效果，并揭示人工数据优于合成数据等规律。
延伸解读
数据选择与自动修订的协同效应
文章介绍了LESS数据选择和CoachLM自动修订两种方法。LESS通过低秩梯度相似性搜索，用5%的数据达到或超越全量训练效果；CoachLM则通过自动修订将高质量样本比例从17.7%提升至78.9%。两者分别从“选对数据”和“改好数据”入手，若结合使用，可能进一步降低数据需求并提升模型性能，但文章未明确提及二者结合的具体实验。
人工数据与合成数据的效率差异
文章通过数百个模型检查点的实验发现，人工指导的数据在效率上明显优于GPT-4合成的数据，且随着数据量增加，人工数据能持续提升模型性能，而合成数据则无法达到这种效果。这一发现提示，在资源有限时，优先投资人工标注数据可能比依赖合成数据更有效，但需权衡成本与收益。
指令鲁棒性的提升路径
针对大语言模型对指令变形敏感的问题，文章提出对比指令调优（CoIN），通过最大化语义等效指令对的隐藏表示相似性、最小化不同语义对的相似性，在PromptBench上平均准确率提高2.5%。这表明提升指令鲁棒性不仅依赖数据量，更需关注数据语义一致性的训练目标设计。
能力发展的不均衡性
文章指出，数据量和参数规模虽影响整体性能，但不同能力对数据增加的敏感度差异显著：某些能力可通过有限数据有效训练，而某些能力则高度抵抗变化。这意味着在数据优化时，需针对目标任务的能力特性制定策略，而非盲目扩大数据规模。
Q&A
有哪些方法可以提升大语言模型指令微调的数据质量？
文章提到的方法包括：反思调优（reflection-tuning）利用Oracle LLM自省提高指令和回应质量；对比指令调优（CoIN）通过最大化语义等效指令对的隐藏表示相似性来增强鲁棒性；CoachLM自动修订样本，将高质量样本比例从17.7%提升到78.9%；以及LESS通过低秩梯度相似性搜索选择高影响力数据。
如何减少指令微调所需的数据量同时保持或提升模型性能？
可以采用基于样本学习百分比的数据选择方法，让模型自主选择高质量训练数据；LESS算法用5%的数据训练通常优于全量训练；LTD Instruction Tuning使用少于原始数据集0.5%的数据训练任务特定模型，性能可提升2%。
人工标注数据和合成数据在指令微调中哪个更有效？
文章指出人工指导的数据在效率上明显优于GPT-4的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。
什么是对比指令调优（CoIN）？它解决了什么问题？
对比指令调优（CoIN）通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，最小化不同语义的实例对之间的相似性，来解决大语言模型对未知指令稳健性有限的问题。在PromptBench基准上，CoIN使模型在字符、词、句子和语义级别上对未知指令的稳健性持续提升，平均准确率提高2.5%。
LESS算法是如何选择训练数据的？它的效果如何？
LESS是一种优化感知且实际高效的算法，通过低秩梯度相似性搜索来估计数据影响并选择指令数据。实验表明，使用LESS选中的5%数据训练通常优于全数据集训练，且所选数据具有高度可迁移性，可以利用较小模型为较大模型或不同家族的模型选择有用数据。
CoachLM在指令数据自动修订方面取得了哪些成果？
CoachLM通过自动修订样本增强指令数据集质量，训练自人工专家修订过的样本，将数据集中高质量样本的比例从17.7%提高到78.9%。它通过平均29.9%的提升改善了指令调优语言模型的指令跟随能力，并在华为的LLM数据管理系统中实现了高达20%的效率提升。
