自动化红队测试与GOAT：生成性进攻代理测试者
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了自动化红队测试在大型语言模型中未能有效模拟用户交互方式的问题。提出的生成性进攻代理测试者（GOAT）通过模拟自然语言对话并使用多种对抗提示技术，自动识别大型语言模型的脆弱性。实验结果表明，GOAT在检测新型风险方面表现出色，达到JailbreakBench数据集上对Llama 3.1和GPT-4的ASR@10分别为97%和88%。
本研究提出了生成性进攻代理测试者（GOAT），用于自动化检测大型语言模型的脆弱性。GOAT通过自然语言对话和对抗提示技术，在JailbreakBench数据集上对Llama 3.1和GPT-4的检测率分别达到97%和88%。
