黑盒 LLM 的数据污染校准
内容提要
本文探讨了大型语言模型中的数据污染问题，提出了有效的检测方法CDD和减轻方法TED。研究表明，数据污染显著影响模型性能，尤其在基准测试中。通过多项选择测验评估七个数据集的污染情况，结果显示污染现象普遍存在，影响了模型的准确性和可靠性。
延伸解读
数据污染检测方法CDD与减轻方法TED
文章提出CDD通过识别小随机样本中的潜在污染实例，评估整个数据集分区是否受污染；TED则修正LLM输出分布以减轻污染影响。实验显示CDD在准确度、F1和AUC上平均提升21.8%-30.2%，TED在24种设置和21种污染程度下将性能下降减轻高达66.9%。这些方法为数据污染问题提供了可量化的解决方案。
数据污染测验：基于多项选择的设计
数据污染测验将检测构建为多项选择题，通过词级扰动生成三个语义相同的版本，与原始实例组成选项。若LLM在预训练中记忆了原始实例，则倾向于选择它，这是LLM的固有特性。在GPT-4和GPT-3.5上对七个数据集的评估表明，该方法能有效检测污染，并在污染信号较弱时提供准确估计。
污染普遍存在及其对基准测试的影响
纵向分析表明数据污染现象显著存在，尤其在基准测试中。对Llama系列模型的研究发现，六个热门多项选择问答基准与训练集存在1%至8.7%的重叠，且模型在污染子集上的准确率比干净子集高出超过5%。这影响了模型性能测量的可靠性，并引发对公共基准测试有效性的质疑。
隐私风险与恶意规避检测的挑战
研究指出，对开源LLM的隐私攻击可近乎完美地威胁预训练和微调模型，强调在处理敏感数据前需谨慎。此外，恶意模型提供者可能故意规避污染检测，例如EAL技术能大幅提高基准性能并完全回避现有检测方法。这揭示了当前检测方法的漏洞，呼吁更严格的评估标准。
Q&A
什么是大型语言模型中的数据污染？
数据污染是指在大型语言模型的训练数据中，存在来自下游任务的测试数据，这会影响模型的有效性。
CDD和TED方法有什么作用？
CDD是一种数据污染检测方法，而TED是一种减轻数据污染影响的方法，两者都能显著提升模型的准确度和性能。
数据污染对模型性能的影响有多大？
研究表明，数据污染显著影响模型的准确性和可靠性，尤其在基准测试中表现突出。
如何评估大型语言模型中的数据污染？
通过多项选择测验评估数据集的污染情况，设计扰动版本的实例来检测模型的识别能力。
数据污染检测的实验结果如何？
实验结果显示，CDD在准确度、F1得分和AUC指标方面平均提升了21.8%-30.2%，而TED成功减轻了性能下降高达66.9%。
在处理敏感数据时需要注意什么？
在进行敏感数据的微调和部署之前，应谨慎处理隐私攻击的风险，以保护数据安全。
