ShieldGemma: 基于 Gemma 的生成性人工智能内容审查
内容提要
Gemma 是一系列先进的开放模型，特别在语言理解和安全性方面表现出色。我们发布了两个规模的模型，并评估了其安全性。Llama Guard 是一种基于 LLM 的安全保护模型，能够分类安全风险并生成决策分数。LLMSafeGuard 提供实时文本生成的安全保障，表现优越。此外，研究还提出了 ShieldLM 和 LLMGuard 等工具，以增强大型语言模型的安全性和可解释性。
延伸解读
Gemma 模型的安全评估与发布意义
文章提到 Gemma 在 18 个文本任务中 11 个优于同规模开放模型，并全面评估了安全性和责任方面。这表明 Gemma 不仅追求性能，也注重安全。负责任地发布 LLM 被认为对提高前沿模型安全性和推动创新至关重要，这为后续安全工具如 ShieldGemma 的出现提供了背景。
Llama Guard 的定制化安全分类
Llama Guard 基于 Llama2-7b 指令调整，能对提示和响应进行安全风险分类，并生成二进制决策分数。其指令微调允许调整分类法类别以适应特定用例，并支持零射击或少射击提示。这种灵活性使其能匹配或超过现有内容审查工具，同时鼓励研究人员进一步开发。
实时生成安全保障：LLMSafeGuard 与 AEGIS
LLMSafeGuard 通过集成外部验证器到束搜索算法，在实时生成中减少有毒评分和版权重复率，并提供可调参数平衡效果与效率。AEGIS 则利用一系列 LLM 内容安全专家进行安全检查，其模型在多个安全风险类别和攻击类型下表现出色。两者都致力于在生成过程中动态保障安全。
可解释与本地化安全工具的发展
ShieldLM 支持可定制检测规则并提供决策解释，在双语数据集上训练后超越强基准。WildGuard 能识别恶意意图、检测安全风险并确定拒绝率，尤其擅长识别对抗性越狱。LionGuard 则关注特定地区（如新加坡）的安全调优和多标签分类，强调本地化对内容审查的重要性。这些工具反映了安全审核向可解释和区域适配方向发展。
Q&A
Gemma 模型的主要特点是什么？
Gemma 是一种轻量级的开放模型系列，在语言理解、推理和安全性方面表现出色，发布了两个规模的模型（20 亿和 70 亿参数）。
Llama Guard 是什么，它的功能是什么？
Llama Guard 是一种基于 LLM 的安全保护模型，能够分类安全风险并生成决策分数，专为人工智能与人类对话应用设计。
LLMSafeGuard 如何实现文本生成的安全保障？
LLMSafeGuard 是一个轻量级框架，通过将外部验证器集成到束搜索算法中，在实时中实现 LLM 文本生成的安全保障。
ShieldLM 的主要功能是什么？
ShieldLM 是一种基于大型语言模型的安全检测器，支持可定制的检测规则，并提供决策的解释，遵循通用的人类安全标准。
WildGuard 的作用是什么？
WildGuard 是一个开放的 LLM 安全审核工具，能够识别恶意意图和检测安全风险，满足对 LLM 交互的自动安全审核需求。
LionGuard 有什么特别之处？
LionGuard 是一种新颖的训练器，专注于提高大型语言模型在特定地区的安全性和有效性，强调本地化在内容审查中的重要性。
