小到大 (S2L)：通过总结小模型的训练轨迹，为大型语言模型进行可扩展的数据选择
内容提要
本文探讨了大型语言模型（LLM）的数据选择和微调方法，提出基于损失的SFT数据选择方法（LoBaSS），在少量数据下显著提升模型能力。稀疏微调方法在指令调整中优于传统方法，数据组成和模型规模对性能影响显著，提出双阶段混合微调策略以解决能力学习问题。此外，构建的开源多语言数据集增强了模型的文化适应性和跨语言转移能力。
延伸解读
数据选择：从数量到可学习性
文章提出的LoBaSS方法以损失为基础选择SFT数据，仅用6%训练数据即超越全数据微调，16.7%数据可协调对话与数学能力。这提示读者，数据质量与模型能力的匹配比单纯增加数据量更关键，可显著降低训练成本。
稀疏微调在指令调整中的优势
实验表明，将稀疏微调扩展到LLaMA 2 7B和13B等模型时，其指令调整效果通常优于LoRA等参数高效微调方法，且运行时间相当。这为资源有限时选择微调策略提供了参考，但需注意其在不同模型和任务上的泛化性。
数据组成与模型规模的扩展规律
研究发现不同能力扩展模式不同，大模型在相同数据量下表现更好；低数据量时数据组成改善能力，高数据量时可能导致能力冲突。双阶段混合微调策略可解决多能力学习问题，预训练损失是性能的更好指标。
多语言微调与文化适应
构建的开源多语言数据集通过知识增强提升文化特定知识获取能力，实验显示大模型具有强跨语言转移能力，可减少语言无关的微调数据。基于UltraLink训练的模型在多任务上优于基线，但低资源语言的理解仍受限。
Q&A
LoBaSS方法如何提升大型语言模型的能力？
LoBaSS方法通过基于损失的SFT数据选择，在仅使用6%训练数据的情况下显著提升模型能力，尤其在对话和数学领域表现优异。
稀疏微调方法与传统微调方法相比有什么优势？
稀疏微调方法在指令调整中表现优于传统方法，尤其在大型语言模型上取得了更好的性能和效率。
数据组成对模型性能的影响是什么？
数据组成对模型性能影响显著，低数据量时能改善能力，但高数据量可能导致能力冲突。
双阶段混合微调策略的目的是什么？
双阶段混合微调策略旨在解决多个能力的学习问题，提高模型在不同任务上的表现。
如何提高大型语言模型的文化适应性？
通过构建开源多语言数据集和引入基于知识的数据增强方法，可以增强模型的文化适应性和跨语言转移能力。
监督指令微调在少样本学习中的表现如何？
监督指令微调在性能和资源需求方面具有最佳平衡性，适用于少样本学习场景。
