语言模型数据选择调查
内容提要
该文综述大语言模型的数据选择与管理研究，涵盖预训练和监督微调阶段的数据数量、质量及领域组成，并介绍基于优化框架、重要性重采样、贝叶斯处理、自训练和K-means聚类的样本选择方法，以降低训练成本并提升模型性能。
延伸解读
数据选择方法的多样性
文章介绍了多种数据选择方法，包括基于优化框架、重要性重采样、贝叶斯处理、自训练和K-means聚类等。这些方法从不同角度解决数据选择问题，例如优化框架避免主观标准，重要性重采样匹配目标分布，贝叶斯处理应对标记错误，自训练结合数据增强，K-means聚类用于少样本生成。这种多样性反映了该领域的活跃研究，也为实践者提供了多种选择。
降低训练成本与提升性能
文章强调数据选择可以显著降低训练成本，同时达到或超过使用整个数据集的性能。例如，基于样本学习百分比的训练数据选择展示了语言模型自主选择高质量数据的能力，从而减少训练开销。重要性重采样算法也能在减少特征空间的同时提升模型性能。这表明数据选择不仅是效率工具，也是性能优化手段。
数据管理的关键维度
文章指出数据管理在预训练和监督微调阶段涉及数据数量、质量和领域/任务组成等维度。这些维度共同影响模型构建，需要系统考虑。例如，数据质量可能涉及处理标记错误、重复或偏差，而领域组成则关乎模型泛化。文章为构建强大语言模型提供了指导资源，提示读者关注数据管理的全面性。
Q&A
语言模型数据选择调查主要涵盖哪些阶段的数据管理？
该调查涵盖预训练和有监督微调阶段的数据管理，包括数据数量、数据质量、领域/任务组成等方面。
有哪些基于优化框架的数据选择方法？
利用优化问题的框架从候选数据中选择有机会最大化模型性能的子集，避免主观标准，并明确学习过程如何利用训练数据进行目标任务的预测。
如何通过数据选择降低语言模型训练成本？
通过基于样本学习百分比的训练数据选择，语言模型能自主选择高质量训练数据，极大降低训练成本，且达到或超过整个数据集训练的性能。
重要性重采样数据选择算法有什么作用？
该算法能在减少特征空间的基础上，从大型无标签数据集中选择与目标分布匹配的样本子集，在训练通用领域和特定领域语言模型时显著提高性能。
如何处理训练数据中的标记错误、重复或偏差问题？
使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决现实场景中标记错误、重复或有偏差的数据问题，提高训练效率。
基于K-means聚类的数据选择策略在少样本文本生成中效果如何？
研究预训练语言模型在少样本条件下的文本生成，提出基于K-means聚类的选择策略，结果表明能显著提高生成模型的性能。
