GumbelSoft: 利用 GumbelMax 技巧实现多样化的语言模型水印
内容提要
该文综述大语言模型水印技术，涵盖自适应水印策略、语义不变水印、私有模型保护框架及黑盒白盒水印方案。研究评估水印对文本分类、摘要、翻译等任务的影响，发现摘要和翻译性能下降15-20%。提出基于随机密钥的水印方法，在OPT等模型上对释义攻击具鲁棒性，但低熵响应检测较难。
延伸解读
水印对下游任务的影响差异
文章指出，嵌入水印对多项选择题和短句生成基本无影响，但摘要生成和翻译任务性能下降15-20%。这表明水印技术并非对所有任务都同等友好，用户在选择带水印模型时需权衡任务类型。对于摘要和翻译这类需要高度语义保真的任务，水印可能引入额外干扰，未来研究需改善这一权衡。
水印鲁棒性与检测条件
基于随机密钥的水印方法在OPT-1.3B和LLaMA-7B上表现出较强鲁棒性，即使40-50%的标记被随机编辑破坏，仍可在p≤0.01下检测到约35个标记。但Alpaca-7B的案例显示，低熵响应检测更难，仅约25%的响应可被检测，且对某些自动释义攻击不够鲁棒。这说明水印检测效果受模型和响应特性影响。
黑盒与白盒水印的适用场景
文章介绍了白盒LLMs的水印方法以及为黑盒LLMs开发的水印框架。白盒方法可直接访问模型内部，而黑盒框架允许在通过API下载应用时自主注入水印，避免因选择黑盒模型而无法使用水印的问题。这为不同部署环境下的模型保护提供了灵活方案，但黑盒场景下的检测可能更依赖外部信号。
Q&A
大语言模型水印技术目前有哪些主要类型？
文章提到的主要类型包括：自适应水印策略、语义不变水印、基于水印的私有语言模型保护框架、白盒LLMs水印方法以及为黑盒LLMs开发的水印框架。
嵌入水印会对大语言模型的哪些任务性能产生影响？
评估发现，水印对多项选择题和短句生成基本没有影响，但会使摘要生成和翻译任务的性能下降15-20%。
基于随机密钥的水印方法在哪些模型上验证了鲁棒性？
该方法在OPT-1.3B、LLaMA-7B和Alpaca-7B三个语言模型上进行了实验验证。
基于随机密钥的水印方法对释义攻击的鲁棒性如何？
在OPT-1.3B和LLaMA-7B模型中，即使40-50%的标记被随机编辑（替换、插入或删除），仍能以p≤0.01可靠检测到水印文本（35个标记）。但对于Alpaca-7B模型，水印对某些自动释义攻击不太鲁棒。
为什么低熵响应的水印检测更加困难？
因为低熵响应的随机性较低，导致水印信号更难被检测。例如在Alpaca-7B模型中，约25%的响应（中位长度约100个标记）能在p≤0.01条件下检测到。
语义不变水印方法是如何实现水印逻辑的？
该方法通过利用另一个嵌入式大型语言模型生成语义嵌入，将其转化为水印逻辑，从而在保证攻击鲁棒性和安全鲁棒性的基础上实现语义不变的水印。
