SOS！针对开源大型语言模型的软提示攻击
内容提要
本文探讨了大型语言模型（LLM）面临的回溯攻击威胁，并提出了 Chain-of-Scrutiny（CoS）解决方案以确保推理一致性。同时，研究了新型后门攻击方法 POISONPROMPT，强调了定制化语言模型的脆弱性。通过全球 prompt 黑客竞赛，分析了对抗性攻击的类型和效果，提出了新的威胁模型，探讨了安全和隐私问题。
延伸解读
后门攻击的细调分类与无细调趋势
文章将后门攻击系统分类为全参数细调、参数高效细调和无细调攻击，并指出未来研究的关键问题包括无需细调的攻击算法和更隐蔽的攻击算法。这提示读者，后门威胁不仅存在于模型训练阶段，也可能在无细调情况下发生，防御需覆盖模型全生命周期。
定制化语言模型（如GPTs）的指令后门风险
研究首次提出针对与不受信任的定制大型语言模型（如GPTs）集成的应用程序的指令后门攻击。攻击者通过设计带有后门指令的提示，将后门嵌入定制模型，当输入包含预定义触发器时输出攻击者所需结果。这强调了定制化模型的脆弱性，提醒开发者在集成第三方定制模型时需谨慎评估其安全性。
开源LLM的嵌入空间攻击与安全对齐绕过
文章展示了针对SOTA开源LLM的priming attacks，这是一种简单、无需优化的攻击，能有效绕过安全训练对齐，成功率提高3.3倍。同时，利用嵌入空间进行攻击可以更高效地触发危险行为，甚至提取已删除信息。这表明开源模型的安全对齐可能被轻易绕过，且嵌入空间攻击具有提取敏感信息的潜力。
对抗性提示的大规模数据集与分类
通过全球prompt黑客竞赛，文章提供了对三种最先进大规模语言模型的600K+对抗性prompt数据集，并提出了对敌对prompt类型的综合分类本体论。这为研究者提供了宝贵的资源，有助于系统化理解对抗性攻击的类型和效果，推动更鲁棒的防御策略开发。
Q&A
什么是回溯攻击，它对大型语言模型有什么影响？
回溯攻击是一种针对大型语言模型的威胁，可能导致推理不一致。它影响模型的可靠性和安全性。
Chain-of-Scrutiny（CoS）解决方案是如何防止回溯攻击的？
CoS 通过提供详细的推理步骤和审查推理过程，确保输入与最终答案的一致性，从而防止回溯攻击。
POISONPROMPT 是什么，它如何影响定制化语言模型？
POISONPROMPT 是一种新型后门攻击方法，能够在不同任务和模型上有效嵌入后门，强调了定制化语言模型的脆弱性。
全球 prompt 黑客竞赛的目的是什么？
全球 prompt 黑客竞赛旨在分析对抗性攻击的类型和效果，并提供600K+对抗性 prompt 的数据集。
后门攻击的分类有哪些？
后门攻击可分为全参数细调、参数高效细调和无细调攻击，研究讨论了不同类型的攻击算法。
开源大型语言模型面临哪些安全和隐私问题？
开源大型语言模型面临的安全和隐私问题包括未经授权的代码使用、潜在的后门攻击和信息泄露风险。
