HarmBench：自动红队与稳健拒绝的标准化评估框架
内容提要
本文综述语言模型红队测试研究，涵盖通过人类反馈强化学习、自动多轮红队、贝叶斯优化等方法检测并减少模型有害输出，发现模型规模扩大后更难被攻击，并发布CommonClaim、SAP等数据集及RAI评估框架，以推动大模型安全部署与负责任使用。
延伸解读
红队测试的演进：从人工到自动
文章梳理了红队测试方法从早期人工探索到自动化的转变。2022年研究使用红队技术生成测试用例并训练分类器检测有害内容；2023年出现参数化红队、MART自动多轮红队和贝叶斯优化黑盒方法，显著提升了可扩展性和效率。这些进展表明，自动化是应对大模型安全评估需求增长的关键方向。
模型规模与安全性的复杂关系
文章指出，随着模型规模扩大，使用人类反馈强化学习的模型更难被红队攻击。这提示模型规模可能带来一定的安全优势，但并非绝对。同时，参数化红队等技术仍能破坏安全性，揭示潜在有害信息和偏见。因此，安全评估需持续进行，不能仅依赖规模增长。
评估框架与数据集的实践价值
文章发布了CommonClaim、SAP等数据集及RAI评估框架，旨在推动大模型安全部署。这些资源为研究者提供了标准化测试基准，有助于比较不同模型的安全性。RAI框架利用GPT-4等先进模型自动测量伤害，可结合领域知识扩展，促进负责任使用。
Q&A
什么是语言模型红队测试？
语言模型红队测试是一种通过生成测试用例来检测模型有害行为的方法，旨在发现、测量并减少模型可能产生的潜在危害输出，从而在影响用户之前找到并修复不良行为。
模型规模扩大后，红队攻击的难度会如何变化？
实验发现，随着模型规模的扩大，使用人类反馈进行强化学习的模型难以被红队攻击。
有哪些自动红队方法被提出？
文章提到了MART（多轮自动红队）方法，通过自动对抗性提示编写和安全响应生成，提高红队的可扩展性和模型安全性；还有基于贝叶斯优化的黑盒反向渗透方法，利用预定义用户输入池和过去评估迭代识别多样正向测试用例。
CommonClaim数据集是什么？
CommonClaim是一个包含20,000条声明的数据集，在针对GPT-2和GPT-3模型的红队演练中构建并发布，用于激发有毒或不诚实言论的提示研究。
SAP数据集有什么作用？
SAP是一系列攻击提示数据集，通过综合手动和自动方法生成攻击提示，用于大型语言模型的安全评估和增强，以提升模型对红队攻击的防御能力。
RAI评估框架是什么？
RAI评估框架是一个自动化测量大型语言模型及相关产品与服务负责任人工智能指标的框架，基于现有技术和社会技术专业知识，利用GPT-4等先进LLMs自动测量模型可能违反RAI原则的伤害，旨在推动更高级的伤害测量和负责任使用。
