置换翻转：LLM 的最优健壮可水印解码器
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文提出在自回归语言模型中植入水印的方法：用随机密钥生成随机数序列并映射到模型采样，生成不改变文本分布且抗扰动的水印文本，检测方凭密钥对齐即可识别。在OPT-1.3B、LLaMA-7B和Alpaca-7B上实验，前两者即使40-50%标记被替换、插入或删除，仍可可靠检测；Alpaca-7B因响应熵低，检测较难。
🔎
延伸解读
水印的鲁棒性表现
在OPT-1.3B和LLaMA-7B模型上，即使40-50%的标记被随机替换、插入或删除，水印仍能以p≤0.01可靠检测。这表明该方法对常见的文本扰动具有较强的鲁棒性，为实际应用提供了可能。
模型差异的影响
Alpaca-7B模型由于响应熵较低，水印检测更加困难：仅约25%的响应（中位长度约100个标记）能在p≤0.01下检测到，且对某些自动释义攻击不够鲁棒。这提示水印效果可能因模型输出特性而异。
技术原理简述
该方法通过随机密钥生成随机数序列，并映射到语言模型的采样过程，从而在不改变文本分布的前提下植入水印。检测方凭借密钥对齐序列即可识别，且支持逆变换采样和指数最小采样两种方案。
❓
Q&A
LLM水印技术如何在不改变文本分布的情况下实现？
通过使用随机水印密钥生成随机数序列，并将其映射到语言模型的采样过程中，从而生成带水印的文本，且不改变文本分布。
检测LLM水印需要什么条件？
检测方需要知道水印密钥，才能将文本与随机数序列对齐，从而识别水印。
LLM水印对文本扰动有多鲁棒？
在OPT-1.3B和LLaMA-7B模型上，即使40-50%的标记被替换、插入或删除，仍可可靠检测（p≤0.01）。
哪些语言模型上实验了水印方法？
在OPT-1.3B、LLaMA-7B和Alpaca-7B三个语言模型上进行了实验。
为什么Alpaca-7B模型的水印检测更困难？
因为Alpaca-7B对典型用户指令的响应熵较低，导致水印检测更加困难，约25%的响应可在p≤0.01下检测到。
水印方法使用了哪些采样方案？
使用了逆变换采样和指数最小采样两种采样方案来实例化水印方法。
🏷️
