主动检测基于区域水印的语音克隆
内容提要
本文综述音频与文本水印技术：音频水印可在1秒音频中嵌入32位信息，抗十种攻击，误比特率0.48%；音频扩散模型水印用于版权保护；合成语音协同训练提升检测能力；语言模型水印采用私钥嵌入、公钥检测，具鲁棒性，可检测篡改文本，保障模型安全。
延伸解读
音频水印的实用优势
文章提出的音频水印技术能在1秒音频中嵌入32位信息，且人类感官不可察觉。在十种常见攻击下，平均误比特率仅为0.48%，相比现有工具误比特率降低超过2800%。该技术还可通过组合多个水印片段提升稳健性和容量，适用于合成声音辨识和音频版权保护。
扩散模型水印的版权保护
针对基于mel频谱图的音频扩散模型，文章提出了首个水印技术，通过无形水印触发机制，在良性音频生成中保持卓越性能，并能保护模型免受未经授权的修改。这有助于解决音频机器学习领域中模型完整性和数据版权的问题。
合成语音检测的协同训练
文章采用协同训练方案为合成语音添加水印，HiFi-GAN神经声码器与ASVspoof 2021基线反欺骗模型合作训练能持续提高检测性能。协同训练还可与增强策略结合，增强对噪声和时间拉伸的鲁棒性，且听测试表明对声码器语音的感知质量几乎没有不良影响。
语言模型水印的安全特性
文章提出了首个具有公开可检测性的语言模型水印方案，使用私钥嵌入、公钥检测，直接嵌入可公开验证的密码学签名，而非统计信号。该方案满足强安全保证，保持无失真性和模型不可知性，在7B参数模型上实验表明能保持文本质量。
Q&A
音频水印技术能在多短的音频片段中嵌入多少位信息？
可以在短短1秒的音频片段中嵌入32位水印。
这种音频水印对抗常见攻击的鲁棒性如何？
在十种常见攻击下，平均误比特率（BER）为0.48%，BER减少了2800%以上。
音频扩散模型的水印技术有什么作用？
用于解决音频机器学习领域中模型完整性和数据版权的问题，通过无形水印触发机制，保护模型免受未经授权的修改。
协同训练如何提升合成语音水印的检测性能？
HiFi-GAN神经声码器与ASVspoof 2021基线反欺骗模型合作训练能持续提高检测性能，结合增强策略可增强对噪声和时间拉伸的鲁棒性，且对声码器语音的感知质量几乎没有不良影响。
语言模型水印如何实现公开检测或验证？
使用私钥进行水印嵌入，使用公钥进行水印检测，直接使用拒绝采样的方式嵌入可公开验证的密码学签名，满足强形式的安全保证，并保持无失真性和模型不可知性。
在自回归语言模型中种植的水印对文本扰动有多鲁棒？
在OPT-1.3B和LLaMA-7B模型中，即使40-50%的标记被随机编辑（替换、插入或删除），仍可可靠检测到带水印的文本（p≤0.01）35个标记；对于Alpaca-7B模型，约25%的响应（中位长度约100个标记）可在p≤0.01下检测到，但对某些自动释义攻击不太鲁棒。
