大型语言模型中的通用漏洞：上下文学习反向攻击
内容提要
本文综述大语言模型上下文学习（ICL）的安全与机制研究：演示数据可被操纵以实施攻击，且演示数量增多会降低鲁棒性；恶意上下文可提升越狱成功率，而拒绝示例能增强防护；ICL对标签扰动较不敏感，其表现受预训练语料与监督方式影响；小模型经微调也可具备ICL能力。
延伸解读
演示数据：ICL的双刃剑
文章指出，上下文学习中的演示数据可被操纵以实施攻击，且演示数量增多反而会降低鲁棒性。这意味着在实际应用中，增加示例未必能提升安全性，攻击者可能通过污染演示来诱导模型输出错误结果。因此，部署ICL系统时需对演示来源和数量保持警惕，不能简单依赖更多示例来增强可靠性。
恶意上下文与越狱风险
研究表明，恶意上下文能提升越狱成功率，而包含拒绝示例的演示则能增强模型防护。这提示我们，ICL的安全不仅取决于模型本身，还取决于上下文的设计。开发者可以通过精心构造拒绝回答的示例来提升模型对齐性，但同时也需防范攻击者利用上下文引导有害输出。
ICL对标签扰动的鲁棒性差异
文章通过对比ICL与监督学习发现，ICL对标签扰动（如噪声标签和不平衡标签）的敏感性较低，且随着模型增大，ICL性能逐渐接近监督学习。这表明ICL在一定程度上有其内在鲁棒性，但黄金标签仍对下游性能有显著影响，尤其对大型模型。因此，演示中的标签质量仍需重视。
小模型也能获得ICL能力
文章提到，通过针对专门训练目标进行微调，较小的模型也能具备上下文学习能力，并在机器翻译领域适应任务上优于传统监督技术和大型模型的ICL。这为资源受限场景提供了新思路，即通过微调让小模型获得ICL优势，实现高效批处理推理和即时适应。
Q&A
上下文学习中的演示数据可以被怎样攻击？
攻击者可以只操纵演示数据而不改变输入，通过TextAttack实施ICL攻击，并且随着演示数量的增加，ICL的鲁棒性会降低。
恶意上下文如何影响大语言模型的越狱风险？
恶意上下文可以引导模型生成有害输出，增加越狱攻击的成功率；而通过提供拒绝回答有害提示的演示，可以增强模型的鲁棒性，降低越狱成功率。
ICL对标签噪声和标签不平衡的敏感度如何？
ICL对标签扰动的敏感性较低，黄金标签对下游上下文性能有显著影响，尤其对大型模型；但不平衡标签对ICL的影响较小，且随着模型增大，ICL逐渐获得与监督学习相当的性能。
小模型能否通过微调获得上下文学习能力？
可以，通过针对专门的训练目标进行微调，更小的模型可以被训练用于执行上下文学习，并在神经机器翻译的领域适应任务上，利用少量示例将输出适应到该领域，其翻译质量和即时适应率优于现有技术基线。
预训练语料和监督方法如何影响ICL的鲁棒性？
模型在语法敏感性上的变异性更多地受到预训练语料库组成和监督方法的影响，而非模型大小；在代码上预训练的模型泛化更好，且更大程度受益于思维链提示。
ICL的工作原理与核回归有何关联？
研究表明，大型语言模型在面对上下文示例时可以模拟核回归算法，上下文提示上的贝叶斯推理可视为大样本上的核回归，且LLMs中的注意力和隐藏特征与核回归行为相匹配，这为ICL中的多种现象提供了见解。
