数据质量的幻觉：重新思考基于分类器的质量过滤在大规模语言模型预训练中的应用
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
在混合质量数据集上进行大规模模型预训练时，数据过滤至关重要。分类器质量过滤（CQF）通过训练二分类器来区分预训练数据和高质量数据，保留高分文档。研究表明，CQF能提升下游任务表现，但可能会隐含过滤高质量数据，未必改善语言建模。与合成数据相比，CQF的效果存在显著差异，挑战了其对数据质量有效性的看法。
🎯
关键要点
-
在大规模模型预训练中，数据过滤至关重要。
-
分类器质量过滤（CQF）通过训练二分类器来区分预训练数据和高质量数据。
-
CQF保留高分文档，提升下游任务表现。
-
CQF可能隐含过滤高质量数据，未必改善语言建模。
-
与合成数据相比，CQF的效果存在显著差异。
-
研究结果挑战了CQF对数据质量有效性的看法。
❓
延伸问答
什么是分类器质量过滤（CQF）？
分类器质量过滤（CQF）是一种通过训练二分类器来区分预训练数据和高质量数据的方法，保留高分文档。
CQF如何影响下游任务的表现？
CQF能够提升下游任务的表现，但并不一定改善语言建模。
CQF可能带来的隐含问题是什么？
CQF可能隐含过滤高质量数据，从而未必改善语言建模效果。
CQF与合成数据的效果有什么显著差异？
CQF与合成数据相比，表现出显著不同的趋势，挑战了CQF对数据质量有效性的看法。
在大规模模型预训练中，数据过滤的重要性是什么？
在大规模模型预训练中，数据过滤至关重要，因为它确保使用高质量的数据进行训练。
研究结果对CQF的有效性提出了什么挑战？
研究结果挑战了CQF捕捉数据质量的有效性，表明其可能并未如预期那样提升数据质量。
➡️
