本文综述多项研究，探讨语言模型的数据质量评估与标签生成。主要发现包括：结合真实用户反馈与LLM可生成高质量相关性标签；质量筛选器存在学校、地域和阶层偏见；困惑度能有效去噪并减少预训练数据；将主观评估纳入多任务学习可提升生成质量；模型知识依赖预训练文档数量，检索增强可捕捉长尾知识。