MATES: 基于模型的数据选择与数据影响模型的高效预训练
内容提要
本文探讨了利用无标签开放数据进行语言模型的预训练和微调，提出了一种基于影响子集选择（ISS）的方法，以降低领域特定数据需求并提高训练效率。研究表明，使用小规模数据集可获得与大型模型相媲美的性能，并通过自主数据选择和优化算法显著提升模型在数学推理等任务中的能力。
延伸解读
数据选择方法的演进与对比
文章梳理了数据选择领域从2020年到2024年的多项研究，包括基于影响子集选择（ISS）、在线数据混合算法（ODM）、LESS等。这些方法各有侧重：ISS利用端到端任务知识选择子集，ODM优化数据混合比例，LESS通过低秩梯度相似性搜索估计数据影响。它们共同表明，数据选择正从主观标准转向优化驱动，以提升训练效率和模型性能。
AutoMathText数据集的实际价值
文章发布了AutoMathText数据集，包含超过200GB的数学内容，旨在增强模型的数学推理能力。该数据集通过元提示语言模型作为零样本验证器自主筛选高质量数学内容，并已开源。实验显示，在AutoMathText上连续预训练7B参数的Mistral模型，相比以往工作，下游性能显著提高且所需标记数量大幅减少，预训练标记效率提升2倍。这为数学推理研究提供了可复用的资源。
小规模数据达到大模型性能的启示
文章指出，通过影响子集选择（ISS）等方法，使用较小的预训练语料库子集，能以较低计算成本获得与RoBERTa等大型预训练模型相媲美的性能。这挑战了“数据越多越好”的传统观念，表明数据质量与选择策略可能比单纯扩大数据规模更关键。对于资源有限的研究者，这意味着可以更经济地训练高效模型，但需注意方法对任务和领域的依赖性。
自主数据选择与训练效率提升
文章强调，语言模型具备自主选择高质量训练数据的能力，通过基于样本学习百分比的训练数据选择，可大幅降低训练成本，同时达到或超过全数据集训练的性能。此外，LESS方法选中的5%数据通常优于全数据集训练，且所选数据具有高度可迁移性，能跨模型家族使用。这些发现提示，未来预训练可更注重数据筛选而非盲目堆量，但实际应用中需验证所选数据与目标任务的匹配度。
Q&A
什么是影响子集选择（ISS）方法？
影响子集选择（ISS）是一种通过选择较小的预训练语料库子集来优化语言模型预训练的方法，旨在降低计算成本并提高性能。
使用小规模数据集进行预训练的优势是什么？
使用小规模数据集可以显著提高模型在特定任务中的能力，并降低对领域特定数据的需求。
AutoMathText数据集的特点是什么？
AutoMathText数据集是一个开源数据集，包含超过200GB的数据，旨在增强模型的数学推理能力。
该研究如何提高模型的训练效率？
研究通过自主数据选择和优化算法显著提升了模型的训练效率，预训练标记效率提高了2倍。
该方法在数学推理任务中的表现如何？
该方法通过自主数据选择显著提高了模型在数学推理等任务中的能力，表现与大型模型相媲美。
如何利用无标签开放数据进行语言模型的预训练？
可以通过选择影响子集并结合优化算法，利用无标签开放数据进行语言模型的预训练和微调。
