WildGuard: 一站式开源安全风险、越狱及拒绝率审核工具
内容提要
本文介绍了Llama Guard，一种基于大型语言模型（LLM）的安全保护模型，旨在分类和检测与人工智能对话相关的安全风险。Llama Guard在多个基准测试中表现优异，支持定制任务和输出格式，增强了模型的安全性。研究还探讨了LLM的破解攻击及其防护措施，强调了评估和预防不同破解方法的必要性，以提升LLM的安全性和可靠性。
延伸解读
Llama Guard 的定位与核心机制
Llama Guard 是基于 Llama2-7b 指令微调的安全保护模型，专为 AI 与人类对话场景设计。它通过安全风险分类法对用户提示和模型响应进行多类别分类，并输出二进制决策分数。尽管训练数据量较少，但在 OpenAI 评估数据集和 ToxicChat 等基准上表现与现有内容审查工具相当或更优。其指令微调特性支持定制任务和输出格式，例如调整分类法类别以适应特定用例，并促进零样本或少样本提示与多样化分类法输入的配合。
越狱攻击与防护研究的多样性
文章梳理了多项针对 LLM 越狱攻击与防护的研究。例如，利用角色扮演系统结合知识图谱生成越狱方法，验证模型对监管规定的遵从性；Self-Guard 通过增强模型对有害内容的检测能力及指导自我响应检测，提升对越狱攻击的鲁棒性且不降低性能；JAM 方法通过越过输入过滤器并生成密文字符绕过输出过滤器，在四个 LLM 上实现约 19.88 倍的越狱成功率和约 1/6 倍的过滤率。这些研究强调评估和预防不同破解方法的必要性。
多模态与实时安全框架的进展
除文本外，安全评估正向多模态和实时防护扩展。MLLMGuard 针对多模态大模型，从隐私、偏见、有毒性、真实性和合法性五个维度评估，表明 MLLM 在安全责任方面仍有长路要走。LlavaGuard 是基于 VLM 的安全模型，提供安全评级、违反类别和解释，性能超越 GPT-4 等基准，并提供 7B 至 34B 检查点。LLMSafeGuard 则通过将外部验证器集成到束搜索中，在去毒化和版权保护任务中实时保障生成安全，并平衡效果与效率。
Q&A
Llama Guard 是什么？
Llama Guard 是一种基于大型语言模型（LLM）的安全保护模型，专门设计用于人工智能与人类对话的应用场景。
Llama Guard 如何增强模型的安全性？
Llama Guard 通过支持定制任务和输出格式，以及使用安全风险分类法来增强模型的安全性。
Llama Guard 在基准测试中的表现如何？
Llama Guard 在多个基准测试中表现优异，其性能与当前可用的内容审查工具相匹配或超过。
如何评估 LLM 的安全风险？
评估 LLM 的安全风险需要使用安全风险分类法，对提示和生成的响应进行分类，并进行全面的实验和分析。
Llama Guard 的自我保护方法有什么作用？
自我保护方法增强了模型对有害内容的检测能力，并指导模型在自我响应中进行有害内容检测，有效抵御越狱攻击。
Llama Guard 如何应对破解攻击？
Llama Guard 通过评估和预防不同破解方法，强调了对破解攻击的必要性，以提升 LLM 的安全性和可靠性。
