QuRating: 选择高质量数据以训练语言模型
内容提要
本文综述多项研究，探讨语言模型的数据质量评估与标签生成。主要发现包括：结合真实用户反馈与LLM可生成高质量相关性标签；质量筛选器存在学校、地域和阶层偏见；困惑度能有效去噪并减少预训练数据；将主观评估纳入多任务学习可提升生成质量；模型知识依赖预训练文档数量，检索增强可捕捉长尾知识。
延伸解读
质量筛选器的偏见风险
文章指出，GPT-3质量筛选器在评估美国高中学生报纸文章时，其质量测量与事实和文学赞誉等合理指标不一致，并偏向于特定学校、地理区域和社会阶层。这表明自动质量筛选可能隐含语言意识形态，构建训练语料时需明确包含或排除文本的透明度和理由，避免放大偏见。
困惑度作为高效筛选指标
研究发现，困惑度这种简单估算方法在去除数据噪声和提升预训练数据集质量方面效果较好，甚至仅使用原始训练数据的30%就能改进基准模型。这提示大部分预训练数据可能被删除而不影响性能，为自动筛选高质量数据集提供了新思路，但需注意其与复杂评估方法的一致性。
主观评估融入多任务学习
文章探讨了在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分。基于群众创作对话语料库的微调实验显示，多任务学习模型生成的话语在主观评分上最高，且在推动对话发展、无冒犯性等方面得分最高。这为将人类主观评估纳入模型训练以更好对齐用户提供了依据。
知识依赖与检索增强
研究表明，语言模型回答事实性问题的能力与预训练期间看到的相关文档数量有强相关性和因果关系。虽然更大模型能学习更长尾的知识，但需将规模增加数个数量级才能在缺乏支持数据的问题上达到竞争性表现。检索增强能有效捕捉长尾知识，缓解对预训练文档数量的依赖。
Q&A
如何生成高质量的相关性标签来评估搜索系统？
可以通过获取真实用户的仔细反馈来改进相关性标签的质量，同时提出一种基于大型语言模型的标签生成方法，从而获得与人工标记员相似准确性和能力的高质量标签。
质量筛选器在语言模型训练数据中存在哪些偏见？
研究发现GPT-3质量筛选器偏向于特定学校、地理区域和社会阶层的语言，其质量测量与事实和文学赞誉等合理指标不一致，强调任何语料库为高质量都涉及语言意识形态，需要更谨慎地构建训练语料库并提高透明度。
困惑度方法在预训练数据去噪和筛选中的效果如何？
困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好效果，仅使用原始训练数据的30%进行训练就能改进基准模型，表明大部分预训练数据可被删除而保持性能。
将主观评估纳入语言生成模型训练有什么好处？
在多任务学习设置中使用主观评估作为训练的一部分，微调后的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高，有助于在开发过程中更好地与人类用户交互。
语言模型的知识记忆与预训练数据中的文档数量有什么关系？
语言模型回答基于事实的问题的能力与预训练期间看到的相关问题文档数量有强相关性和因果关系；更大的模型能学习更长尾的知识，但需要将模型规模增加数个数量级才能在缺乏支持数据的问题上实现竞争性表现；检索增强能有效捕捉长尾知识。
如何评估和提升多语料库的质量，尤其是少资源语言？
可以探究评估及提高多语料库质量的方法，并针对少资源语言建议相关技术，同时注意低质量数据发布可能带来的潜在风险。
