抛弃糟粕保留精华：关于大规模语言模型微调中的数据选择的思考
内容提要
该论文综述了大型语言模型的数据选择方法及研究进展，强调无标签开放数据的使用和经济高效的微调技术。通过优化数据选择，提升模型性能，并探讨AI的道德应用及其在社会价值观下的部署重要性。研究表明，新方法显著提高数据效率，降低训练成本。
延伸解读
数据选择的核心思路
文章指出，数据选择旨在从候选数据中挑选出能最大化模型性能的子集，避免主观标准，并明确学习过程如何利用训练数据进行目标任务的预测。这种方法通过优化问题框架实现，能显著提升语言模型性能，同时降低对领域特定数据的依赖。
自过滤与样本效率
研究表明，语言模型能自主选择高质量训练数据。自过滤方法利用训练后的评分网络衡量指令难度，选择最具挑战性的样本，仅用约15%的样本即可达到比全数据设置更好的结果，并优于竞争基线。这大幅降低了训练成本。
S2L方法的实证效果
SmallToLarge（S2L）方法在数学问题解决等领域显著提高了有监督微调的数据效率。仅使用原MathInstruct数据集的11%即可达到完整数据集性能，在6个评估数据集上平均优于最先进算法4.7%。在MATH基准上，仅选50K数据达到32.7%准确率，比Phi-2提高16.6%。
偏见与道德考量
文章探讨了大型语言模型中的经济和政治偏见，以及调整细节对其的影响。通过参数效率微调技术，研究提出系统的数据集选择、注释和指令调整方法，并强调将AI部署在符合社会价值观的方式上的重要性，旨在推动AI的道德应用。
Q&A
大型语言模型的数据选择方法有哪些？
该论文提出了数据选择方法的新分类，强调使用无标签开放数据和优化数据选择以提升模型性能。
如何通过数据选择提高大型语言模型的性能？
通过选择有机会最大化模型性能的子集，避免主观标准，优化训练数据的使用，从而提升模型性能。
SmallToLarge（S2L）方法的优势是什么？
S2L方法显著提高了有监督微调的数据效率，仅使用部分训练数据即可达到或超过完整数据集的性能表现。
该研究如何处理AI的道德应用问题？
研究探讨了大型语言模型中的经济和政治偏见，强调AI在符合社会价值观的方式上部署的重要性。
使用无标签开放数据的好处是什么？
使用无标签开放数据可以最小化领域特定数据需求，同时优化数据选择以提升模型性能。
该研究的实验结果如何？
实验表明，S2L方法在多个领域中优于最先进的数据选择算法，且在特定任务中仅使用部分数据即可达到高准确率。
