评估数据质量在训练双语语言模型中的作用
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
双语和多语种模型在自然语言处理中的表现因语言而异，数据质量不均是主要原因。我们提出了一种数据过滤策略，选择高质量的双语训练数据，应用于法语、德语和中文，提升了单语性能2-4%，并将双语模型性能差距缩小至1%。这表明数据质量在多语种预训练中的重要性。
🎯
关键要点
- 双语和多语种模型在自然语言处理中的表现因语言而异。
- 数据质量不均是导致性能下降的主要原因。
- 增加语言数量可能会降低某些语言（如英语）的性能。
- 提出了一种数据过滤策略，选择高质量的双语训练数据。
- 该策略在法语、德语和中文上提升了单语性能2-4%。
- 双语模型的性能差距缩小至1%。
- 结果强调了数据质量在多语种预训练中的重要性。
