规避语言模型的数据污染检测 (过于) 简单
内容提要
大型语言模型因训练数据包含测试集内容而存在数据污染，导致基准评估虚高。研究提出Clean-Eval等检测与净化方法，发现Llama等模型在污染子集上准确率高出5%以上，呼吁采用更严格的评估方法和基准。
延伸解读
数据污染对评估的影响
文章指出，大型语言模型因训练数据包含测试集内容而存在数据污染，导致基准评估虚高。例如，Llama模型在污染子集上的准确率比干净子集高出5%以上，这直接影响了模型性能比较的公平性。读者需注意，污染程度在不同基准中从1%到8.7%不等，因此评估结果可能因基准而异。
检测与净化方法概览
为应对污染，研究提出了多种方法。Clean-Eval利用语义检测器筛选低质量样本，生成语义相似但表达不同的新基准，以还原真实评估结果。数据污染测验则通过词级扰动构建多项选择题，检测模型是否记忆了原始实例。这些方法无需预训练数据或模型权重，提供了可证明的保证。
实践启示与局限
文章强调，当前LLM报告中污染定义存在局限，呼吁采用更严格的评估方法和基准。对于研究者和开发者，这意味着在模型评估中需警惕污染风险，并考虑使用独立、全面的污染评估。然而，检测方法可能受污染信号强弱影响，且无法完全消除污染，因此基准测试的最佳实践仍需进一步探索。
Q&A
什么是大型语言模型的数据污染？
数据污染指在训练数据中存在来自下游任务的测试数据，导致模型在评估基准上表现虚高。
数据污染对模型评估有什么影响？
数据污染会导致基准评估结果虚高，例如Llama模型在污染子集上的准确率比干净子集高出5%以上。
有哪些方法可以检测语言模型的数据污染？
检测方法包括：基于似然性比较的测试、数据污染测验（通过词级扰动生成多项选择问题）、Testset Slot Guessing、以及Clean-Eval等。
Clean-Eval方法是如何工作的？
Clean-Eval利用语义检测器筛选出生成的低质量样本，从候选集中选择与原始污染数据语义相似但表达不同的最佳候选，形成新基准，从而在少样本学习和微调场景下还原受污染模型的实际评估结果。
Llama模型在污染基准上的表现如何？
对六个热门多项选择问答基准的分析发现，基准中存在1%至8.7%的污染，Llama模型在污染子集上的准确率比干净子集高出超过5%。
数据污染测验是如何检测污染的？
数据污染测验将检测构建为多项选择问题，对每个数据集实例创建三个词级扰动版本（用上下文同义词替换单词），保持语义和句子结构不变。如果LLM在识别原始实例时表现超过随机机会，则标记该数据集划分被污染。
