GradSafe：通过安全关键梯度分析检测 LLMs 的不安全提示
内容提要
该文综述大语言模型安全研究，指出开源模型易受恶意提示影响，SimpleSafetyTests显示多数模型不安全回答超20%。研究提出防御框架、多语言安全基准及Llama Guard等防护工具，并强调系统提示与跨语言对齐的重要性。
延伸解读
开源模型的安全短板
文章指出，开源大语言模型在缺乏适当引导时，容易遵循恶意指令并生成有害内容。SimpleSafetyTests 测试显示，多数受测模型在超过20%的情况下会给出不安全回答，极端情况下甚至超过50%。这表明，对于企业和开发者而言，直接部署开源模型存在显著安全风险，需提前评估。
系统提示的防御价值与局限
在系统提示中追加强调安全性的内容，能大幅减少不安全回答，但无法完全阻止。文章建议开发者将其作为防范重大安全风险的第一层防线。这意味着，系统提示虽有效，但不应视为唯一措施，需结合其他防护手段，如输出过滤或专门的安全模型。
多语言安全挑战与跨语言对齐
研究发现，低资源语言中的恶意提示更容易导致模型产生不安全回答，且模型对低资源语言的恶意提示会产生更多无关回答。提高高资源语言的训练并未显著改善低资源语言的安全性，表明跨语言对齐的瓶颈在于预训练阶段。这提示开发者需关注多语言场景下的安全对齐。
防护工具与评估基准的进展
文章介绍了多种防护工具和评估基准，如 Llama Guard 输入输出保护模型、XSafety 多语言安全基准、中文 LLM 安全评估基准等。这些工具和基准有助于系统评估和提升模型安全性。开发者可借助它们识别风险，但需注意，安全是一个持续过程，需结合具体应用场景进行调整。
Q&A
SimpleSafetyTests 是什么？它发现了哪些安全问题？
SimpleSafetyTests 是一套新的测试套件，包含 100 个测试提示，涵盖五个危害方面，用于快速系统地鉴定大型语言模型的重大安全风险。测试 11 个开源大模型发现，大多数模型在超过 20% 的情况下会给出不安全回答，极端情况下超过 50%。
如何减少大语言模型的不安全回答？
在系统提示中追加强调安全性的内容能够大大减少不安全回答的发生，但并不能完全阻止。建议开发者将此类系统提示作为防范重大安全风险的第一层防线。
什么是 erase-and-check 框架？它如何防御恶意提示？
erase-and-check 是第一个具有可验证安全保证的防御框架。它通过逐个擦除 token 并使用安全过滤器检查得到的子序列，如果安全过滤器检测到任何子序列或输入提示本身存在有害部分，则将输入提示标记为有害。该技术能防御三种攻击模式，在保证处理安全提示性能的同时，显著提高有害提示上的安全保证指标。
大语言模型在多语言环境下面临哪些安全挑战？
低资源语言中的恶意提示往往导致不安全的回答，并且模型对低资源语言的恶意提示产生更多无关回答。提高模型对高资源语言的训练并没有带来显著改善，表明跨语言对齐的瓶颈在于预训练阶段。
Llama Guard 是什么？它有什么功能？
Llama Guard 是一种基于 LLM 的输入输出保护模型，针对人工智能与人类对话应用场景设计。它包含安全风险分类法，可对 LLM 提示和响应进行分类，并生成二进制决策分数。其指令微调允许定制任务和调整输出格式，例如调整分类法类别以适应特定用例，并支持零射击或少射击提示。
中文大语言模型的主要安全风险是什么？
通过引入评估中文 LLM 安全性的数据集，实验表明区域特定风险是最普遍的风险类型，是所研究的所有中文 LLM 的主要问题。
