通过降低频率空间从被后门污染数据集中获得清洁语言模型
内容提要
该文综述大语言模型后门攻击与防御研究，涵盖自动插入样式触发器、毒素选择、REACT防御、基于LoRA的LoRB提升语音识别效率、DUBA时频双隐蔽攻击、TFLexAttack免训练注入词汇触发器、CBA分散触发词增强隐蔽性、MDP等防御检测污染样本，以及仅需1%数据即可毒化模型。
延伸解读
后门攻击的多样化与隐蔽性趋势
文章综述了多种后门攻击方法，如自动插入样式触发器、DUBA时频双隐蔽攻击、TFLexAttack免训练注入词汇触发器以及CBA分散触发词等。这些方法从不同角度提升攻击的隐蔽性和成功率，例如DUBA同时在时域和频域隐藏触发器，CBA将触发词分散在提示组件中。这表明后门攻击正朝着更难检测的方向发展，防御方面临更大挑战。
防御策略的多样性与评估
针对后门攻击，文章提到了REACT基线防御、基于深度模型突变测试的检测方法以及MDP防御等。这些防御机制在不同层面（如字符、词、句子、样式）检测恶意样本，并在多个基准数据集上表现出效果。然而，攻击与防御的对抗持续升级，防御方法需要不断适应新的攻击变种，实际部署时需综合考虑检测精度与计算开销。
低秩适应在效率与安全中的角色
文章多次提及低秩适应（LoRA）技术，既用于提升语音识别效率（如LoRB架构减少训练时间），也用于资源高效建模。但LoRA也可能被攻击者利用，例如通过微调少量参数注入后门。这提醒研究者在采用高效微调方法时，需关注其安全性，平衡效率与模型可信度。
数据毒化门槛降低的警示
文章指出，仅需总数据样本的1%即可成功毒化大语言模型，这是针对自然语言生成任务的首次系统性研究。这意味着攻击者能以极低成本实施后门注入，而防御方需在数据清洗和训练过程中更加警惕。该发现强调了在模型开发早期阶段进行数据验证和异常检测的重要性。
Q&A
大语言模型后门攻击中，有哪些方法可以自动生成触发器？
LLMBkd 攻击使用语言模型自动插入多样化的基于样式的触发器到文本中，几乎不需要训练且攻击成功率很高。
如何提高后门攻击的效果？
可以采用毒素选择技术来改善攻击效果，该技术能提升攻击成功率。
REACT 是什么？它有什么作用？
REACT 是一种基线防御机制，用于缓解后门攻击。
LoRA 在语音识别中有什么应用？
基于 LoRA 的神经语言建模系统可用于语音识别输出的再评分，通过低秩分解训练插入矩阵，仅占预训练参数的 0.08%，在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。
DUBA 后门攻击有什么特点？
DUBA 是一种双重隐蔽后门攻击方法，同时考虑触发器在时域和频域中的隐蔽性，通过在干净图像中嵌入高频信息，采用傅里叶变换和离散余弦变换混合毒害图像和干净图像，在攻击成功率和隐蔽性上明显优于现有方法。
TFLexAttack 是如何实现后门攻击的？
TFLexAttack 是一种无需额外训练的语言模型后门攻击方法，通过操作语言模型的嵌入字典，向 tokenizer 注入词汇触发器，实现攻击的隐秘性，实验表明其具有普遍性和有效性。
组合后门攻击（CBA）是如何增强隐蔽性的？
CBA 将多个触发关键词分散在不同的提示组件中，使得攻击更加隐蔽，在自然语言处理和多模态任务中均有效。
有哪些防御方法可以检测后门样本？
基于深度模型突变测试的防御方法可以在 char-level、word-level、sentence-level 以及 style-level 水平上检测恶意后门样本；MDP 防御方案利用掩码灵敏度的差异比较样本表示，鉴别被污染样本。
毒化大语言模型需要多少数据？
仅需使用总数据样本的 1% 即可成功毒化大语言模型，这是针对自然语言生成任务的首次系统性理解。
