BriefGPT - AI 论文速递
·
发现伪造大型语言模型水印的线索
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究探讨了通过数据水印检测版权作品在大语言模型预训练中的应用。采用随机抽样将检测问题转化为假设检验，确保虚警率。分析了水印长度、复制次数和干扰对检测能力的影响。尽管数据集增大会降低检测力，但模型增大可保持水印强度。使用SHA哈希作为自然水印，成功检测到BLOOM-176B训练数据中的哈希，至少出现90次。结果显示数据水印在实际应用中具有广阔前景。
🎯
关键要点
-
研究探讨了数据水印在大语言模型预训练中的应用。
-
采用随机抽样将检测问题转化为假设检验，确保虚警率。
-
分析了水印长度、复制次数和干扰对检测能力的影响。
-
数据集增大会降低检测力，但模型增大可保持水印强度。
-
使用SHA哈希作为自然水印，成功检测到BLOOM-176B训练数据中的哈希，至少出现90次。
-
结果显示数据水印在实际应用中具有广阔前景。
➡️
