Apple Machine Learning Research
·
当预训练数据与目标任务匹配时，语言模型性能提升
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文提出了一种基准目标排名方法（BETR），通过比较预训练文档与基准训练示例的相似性来优化数据选择。BETR在共享空间中嵌入基准示例和预训练文档，利用相似性评分训练轻量级分类器。研究表明，BETR在多个任务上显著提升性能，且更大的模型需要更少的过滤，强调数据选择策略需适应模型规模。
🎯
关键要点
- 每种数据选择方法都有其目标，通常通过基准驱动的迭代过程隐含出现。
- 本文提出了一种基准目标排名方法（BETR），通过比较预训练文档与基准训练示例的相似性来选择数据。
- BETR将基准示例和预训练文档嵌入共享空间，通过相似性评分训练轻量级分类器。
- 研究表明，BETR在多个任务上显著提升性能，尤其是在500个模型的训练中表现突出。
- BETR在对比中实现了2.1倍的计算增益，相较于未过滤数据提升了4.7倍。
- 在所有规模的模型中，BETR在10个任务中有9个任务表现优于基线。
- BETR在针对与评估套件不相交的多样化基准时，仍然能够匹配或超越基线表现。
- 分析显示，较大的模型需要更少的过滤，强调数据选择策略需适应模型规模。
❓
延伸问答
什么是基准目标排名方法（BETR）？
BETR是一种通过比较预训练文档与基准训练示例的相似性来选择数据的方法。
BETR如何提升语言模型的性能？
BETR通过将基准示例和预训练文档嵌入共享空间并利用相似性评分来优化数据选择，从而提升性能。
BETR在多个任务上的表现如何？
BETR在10个任务中有9个任务的表现优于基线，尤其在500个模型的训练中表现突出。
使用BETR与未过滤数据相比，计算增益是多少？
BETR实现了2.1倍的计算增益，相较于未过滤数据提升了4.7倍。
较大的模型在使用BETR时需要怎样的数据过滤策略？
较大的模型需要更少的过滤，强调数据选择策略需适应模型规模。
BETR在多样化基准上的表现如何？
BETR在针对与评估套件不相交的多样化基准时，仍然能够匹配或超越基线表现。
➡️
