语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库
内容提要
本文探讨了多语料库的质量评估与提升方法，特别针对低资源语言。研究表明，低资源语言的自然语言理解性能受语料库大小和领域覆盖影响更大，而非仅数据质量。通过分析不同语言的网络挖掘语料库，发现其质量差异显著，并提出改进多语言网页语料库的方法，以支持大型生成语言模型的预训练。
延伸解读
低资源语言：数据规模与领域覆盖比质量更关键
文章指出，低资源语言的NLU性能主要受语料库大小和领域覆盖限制，而非数据质量。这意味着，对于低资源语言，单纯提升数据质量可能收效有限，扩大语料规模和领域多样性更为重要。这一发现提示研究者和开发者，在资源有限时，应优先考虑如何获取更多样化的数据，而非过度追求清洗质量。
网络挖掘语料库质量差异显著，但高质量子集可媲美人工数据
对不同语言的网络挖掘语料库分析显示，其质量差异显著，且随语言和数据集变化。然而，使用排名最高的25k部分训练的NMT模型，性能可与人工策划数据集媲美。这表明，通过质量排序和筛选，可以从嘈杂网络数据中提取高价值子集，为低资源语言提供有效训练数据，降低对昂贵人工标注的依赖。
数据清理提升整体效果，但可能加剧代表性不足
对4270亿词多语言语料库的研究表明，每个清理阶段（如语言识别、去重、异常检测）都提高了子语料库的有效性，但改进在语言和人口间分布不均。标准清理技术可能无意中排除代表性不足的人口，如新西兰英语等。这提醒我们，在构建语料库时需关注清理步骤的公平性，避免边缘化群体数据被进一步过滤。
OSCAR语料库训练的词嵌入超越Wikipedia，但需注意领域偏差
使用多语言OSCAR语料库训练的ELMo词嵌入，在五种中资源语言的词性标注和解析任务上，表现优于基于Wikipedia的嵌入。这表明网络爬取语料库能提供更丰富的语言表示。然而，OSCAR作为网络数据，可能包含领域偏差，实际应用中需结合任务需求评估其适用性，避免因数据来源单一导致模型泛化能力受限。
Q&A
低资源语言的自然语言理解性能受哪些因素影响？
低资源语言的自然语言理解性能主要受语料库的大小和领域覆盖影响，而不仅仅是数据质量。
如何评估多语料库的质量？
可以通过相似度度量对语料库进行排序，并对不同部分进行内在和外在评估来评估多语料库的质量。
网络挖掘语料库的质量差异如何？
不同语言的网络挖掘语料库之间存在显著的质量差异，且质量在不同语言和数据集之间变化。
如何改进多语言网页语料库以支持大型语言模型？
可以通过对现有的多语言网页语料库进行自动注解和改进，来获得更适合于预训练大型生成语言模型的新版本。
使用最高排名的25k部分训练的神经机器翻译模型效果如何？
使用最高排名的25k部分训练的神经机器翻译模型可以与人工策划的数据集媲美。
评估多语料库清理阶段的效果如何？
评估结果表明，每个清理阶段都提高了子语料库的有效性，但改进在语言和人口之间分布不均匀。
