彩虹团队：多样对抗提示的开放生成
内容提要
该文综述大语言模型红队攻防研究，提出综合攻击框架与基于梯度的红队技术，可自动生成攻击提示并提升模型安全性；开发多轮自动红队方法MART及令牌级对抗提示检测；构建对抗评估数据集，测试模型在计算推理任务中的表现，并探索基于提示的对抗训练以增强鲁棒性。
延伸解读
红队技术演进：从手动到自动
文章梳理了红队技术的发展脉络，从早期手动探索到基于梯度的自动生成（GBRT）和多轮自动红队（MART）。GBRT通过反向传播优化提示，比强化学习方法更有效；MART则通过自动对抗性提示编写和安全响应生成，提升了可扩展性和模型安全性。这些方法共同推动了红队测试的自动化进程。
对抗提示检测与防御
针对对抗提示的威胁，文章介绍了令牌级检测方法，利用模型预测下一个令牌的概率和困惑度来识别对抗序列。同时，基于提示的对抗训练被提出以增强模型鲁棒性。这些防御手段与攻击技术相辅相成，构成了红队攻防研究的重要部分。
评估数据集与模型表现
文章提到构建对抗评估数据集，用于测试模型在计算推理任务中的安全性。实验发现，即使采用结构化推理和示例，gpt-3.5-turbo和gpt-4在基础计算和推理任务上仍表现不佳。这揭示了当前模型在对抗条件下的局限性，为未来改进提供了方向。
Q&A
什么是基于梯度的红队技术（GBRT）？
GBRT是一种自动生成多样提示的红队技术，通过将语言模型回应与安全分类器评分，并利用冻结的安全分类器和语言模型进行反向传播来更新提示，从而训练出能触发不安全回应的提示。
MART方法如何提高红队的可扩展性和模型安全性？
MART（多轮自动红队）通过自动对抗性提示编写和安全响应生成，显著提高了红队的可扩展性，并增强了目标大型语言模型的安全性。
如何检测对抗提示？
提出了一种基于令牌级别的检测方法，利用大型语言模型预测下一个令牌的概率，测量模型的困惑度并结合相邻令牌信息，以识别连续的对抗提示序列。具体有两种方法：一种将每个令牌识别为是否属于对抗提示的一部分，另一种估计每个令牌属于对抗提示的概率。
在计算推理任务中，大型语言模型的表现如何？
研究发现，尽管结构化推理和提供解题示例可以减缓解答质量的恶化，但gpt-3.5-turbo和gpt-4模型在基础计算和推理任务上表现不佳，即使在红组合作的情况下。
基于提示的对抗训练如何增强模型鲁棒性？
本研究提出了一种基于Prompt的新型对抗攻击和提高自然语言处理模型鲁棒性的技术，包括恶意Prompt构建、对抗样本生成和Prompt-based对抗训练方法，并实验验证了攻击成功率的高效性和鲁棒性提高方法的有效性。
DIV-SE和IDIV-SE方法在推理任务中有什么优势？
DIV-SE和IDIV-SE方法通过改变输入提示的多样性，在不改变解码过程的前提下，利用多种推理调用和单次推理调用中的多样提示，在固定生成预算下，在多个推理基准和最新的计划基准上优于现有基线，并在最有挑战的4/5 Blocksworld任务上超过先前报告的最高准确率至少29.6个百分点，从而改进了LLM推理的准确性-成本权衡的帕累托前沿。
