质量确实重要:对网络挖掘平行语料库的质量和实用性的详细研究
内容提要
本文综述多语料库质量评估与提升方法,包括精细爬取、预训练模型过滤噪声、Siamese网络提取平行句、Common Crawl自动管道及EvalWeb中文清洗工具链。研究指出,低资源语言的NLU性能更受语料规模与领域覆盖影响,而非仅取决于数据质量。
延伸解读
低资源语言:规模与领域比质量更关键
文章通过巴斯克语案例指出,低资源语言的NLU性能主要受语料库大小和领域覆盖限制,而非单纯的数据质量。这意味着,对于资源稀缺的语言,优先扩大语料规模和覆盖领域可能比精细过滤噪声更有效。这一发现提醒研究者和开发者,在资源有限时,应权衡数据质量与数量的投入。
质量提升技术:从过滤到自动挖掘
文章综述了多种质量提升方法,包括利用预训练语言模型过滤噪声句对、使用Siamese网络从维基百科提取平行句、以及Common Crawl自动管道。这些技术展示了如何从嘈杂网络数据中获取高质量语料,但各方法依赖不同资源,如多语言BERT或双语词典,实际应用时需考虑语言支持和技术门槛。
中文语料工具链:EvalWeb与ChineseWebText
EvalWeb工具链能从嘈杂网络数据中提取干净中文文本,并发布了1.42TB的ChineseWebText,每个文本附有质量评分,方便按阈值选择。此外,还提供了600GB质量超90%的子集。这为中文大语言模型研究提供了大规模高质量数据,但使用者需注意质量评分的具体标准及数据时效性。
低质量数据发布的风险与警示
文章提及低质量数据发布可能带来潜在风险,但未详细展开。结合上下文,低质量语料可能误导模型训练,尤其对低资源语言,若盲目追求规模而忽视质量,可能加剧性能偏差。因此,在数据发布和使用时,需建立质量评估机制,并警惕噪声数据对模型效果的负面影响。
Q&A
如何评估和提升多语平行语料库的质量?
本文综述了多种方法:精细爬取替代CommonCrawl、利用预训练语言模型过滤噪声句对、使用Siamese网络提取平行句、Common Crawl自动管道提取高质量单语数据、基于多语言句子嵌入的过滤方法,以及EvalWeb中文清洗工具链。这些方法旨在从噪声网络数据中提取高质量平行语料。
低资源语言的NLU性能主要受什么因素限制?
研究表明,低资源语言的NLU性能不是主要受数据质量限制,而是与语料库的大小和领域覆盖等其他因素有更重要的关系。
有哪些自动从Common Crawl提取高质量语料的方法?
论文描述了从Common Crawl中提取大量高质量单语数据集的自动管道,用于预训练文本表示,并增加过滤步骤选择接近Wikipedia等高质量语料库的文档。此外,还有自动查找平行翻译文档的方法,概念简单、语言独立且可扩展。
EvalWeb工具链是什么?它有什么作用?
EvalWeb是一种从嘈杂网络数据中提取中文干净文本的完整工具链,用于帮助大型语言模型研究。使用该方法发布了最大最新的大规模高质量中文网络文本ChineseWebText,包含1.42 TB文本,每个文本有质量评分,并发布了质量超过90%的600 GB更清洁子集。
如何利用预训练语言模型过滤爬取数据中的噪声句对?
本文提出利用预训练语言模型过滤噪声句对的方法,使用BERT的多语言能力度量语句平行性,并使用GPT语言模型作为领域过滤器平衡数据领域。在WMT 2018过滤任务和日译中平行语料库上实验,证明该方法明显优于基准线并取得最新成果。
从维基百科提取平行语料有哪些方法?
有两种方法:一是使用端到端的Siamese双向递归神经网络从可比较多语言文章中提取并生成平行句子,提高低资源语言对的BLEU分数;二是通过网页爬取和机器翻译系统从维基百科文章中获取主题对齐比较语料库,提取噪音干扰较小的平行句子。