水印是否能幸存于翻译？关于大型语言模型中文本水印的跨语言一致性
内容提要
本文综述大语言模型文本水印技术，该技术通过在生成文本中嵌入不可见但可检测的信号来追踪和验证文本来源，防止滥用。研究提出基于交叉注意力、随机密钥映射等方法，并评估水印的质量、鲁棒性和防篡改性。实验表明，水印对释义和编辑攻击具有较强鲁棒性，但低熵文本检测较难，且水印鲁棒性与文本质量之间存在权衡。
延伸解读
水印鲁棒性与文本质量的权衡
文章指出，水印的鲁棒性与文本质量之间存在权衡。高熵句子的水印选择会显著影响生成输出，而低熵文本（如典型用户指令的响应）由于熵较低，检测更加困难。例如，在Alpaca-7B模型中，约25%的响应（中位长度约100个标记）能在p≤0.01下检测到，但水印对某些自动释义攻击不够鲁棒。这表明在实际部署中，需要根据文本类型和应用场景平衡水印强度与生成质量。
水印对编辑攻击的抵抗能力
实验表明，水印对释义和编辑攻击具有较强鲁棒性。在OPT-1.3B和LLaMA-7B模型中，即使随机替换、插入或删除40-50%的标记，仍能可靠检测到水印（p≤0.01，35个标记）。这得益于基于随机密钥映射的方法，如逆变换采样和指数最小采样，在不改变文本分布的情况下嵌入水印。然而，对于低熵文本，检测难度增加，且对某些自动释义攻击的鲁棒性下降。
水印技术的评估框架与指标
文章提出了一个全面的评估框架，包括不同任务及实际攻击的水印技术基准，关注三个主要指标：质量、大小（检测水印所需的标记数）和防篡改性。目前的水印技术已足够用于部署，但不可辨认性要求过高；略微修改逻辑分布的方案在生成质量上胜过不可辨认的对应方案且无明显质量损失。该框架有助于研究人员系统比较不同水印方法，推动技术发展。
Q&A
什么是大语言模型中的文本水印技术？
文本水印技术通过在生成文本中嵌入不可见但可检测的信号，用于追踪和验证文本来源，防止滥用和盗版。
文本水印的鲁棒性如何？能抵抗哪些攻击？
水印对释义和编辑攻击具有较强鲁棒性。实验表明，在OPT-1.3B和LLaMA-7B模型中，即使40-50%的标记被随机编辑破坏，仍能可靠检测（p≤0.01）。但对某些自动释义攻击鲁棒性较差。
水印技术存在哪些局限性或挑战？
低熵文本检测较难，例如Alpaca-7B模型中约25%的响应可检测（p≤0.01）。水印鲁棒性与文本质量之间存在权衡，且水印的不可辨认性要求可能过高。
如何检测大语言模型生成文本中的水印？
检测方需知道密钥，将文本与随机数序列对齐。使用统计测试，样本复杂度越高，水印证据累积越多，最终可检测。
水印技术如何嵌入到语言模型中？
通过交叉注意力机制在输出文本中嵌入信息，或使用随机水印密钥计算的随机数序列映射到语言模型的样本，如逆变换采样和指数最小采样。
评估水印技术的主要指标有哪些？
主要指标包括质量、大小（检测水印所需的标记数）和防篡改性。
