WalledEval: 大型语言模型的全面安全评估工具匠
内容提要
本文介绍了S-Eval，一个新的安全评估基准，结合大型语言模型和测试策略，自动构建高质量测试套件。研究提出了四级风险分类体系，评估了20个流行模型的安全风险，结果显示S-Eval优于现有基准。此外，研究探讨了提示注入和代码滥用等新风险，强调了安全性与效用之间的权衡，并提出了量化方法。整体来看，LLMs在安全性方面仍需改进。
延伸解读
安全评估的新维度：提示注入与代码滥用
S-Eval 引入了提示注入和代码解释器滥用两个新领域的测试，填补了传统安全评估的空白。评估显示，所有测试模型在成功的提示注入测试中占比在26%到41%之间，表明消除此类攻击风险仍是未解决的问题。这提醒我们，随着LLM应用场景的扩展，新型攻击面不断出现，安全评估需持续更新。
安全与效用的权衡：False Refusal Rate 的引入
研究强调，让LLM拒绝不安全提示可能导致其错误拒绝良性请求，从而降低效用。为此，S-Eval 建议使用 False Refusal Rate (FRR) 来量化这种权衡。实验发现，许多LLM能在拒绝大部分不安全请求的同时，成功响应边界线良性请求。这为平衡安全性和实用性提供了可量化的指标。
模型编码能力与网络安全任务表现
S-Eval 量化了LLM在自动化核心网络安全任务（如利用软件漏洞）中的效用。结果显示，具有编码能力的模型表现优于无编码能力的模型，但LLM在利用生成方面仍需进一步改进。这表明，虽然LLM在代码相关任务上展现出潜力，但其进攻性能力带来的风险不容忽视，需在开发中整合安全考虑。
Q&A
S-Eval是什么，它的主要功能是什么？
S-Eval是一个新的安全评估基准，结合大型语言模型和测试策略，自动构建高质量测试套件用于安全评估。
S-Eval的风险分类体系是怎样的？
S-Eval提出了一个四级风险分类体系，覆盖全面多维的安全风险，并具备灵活配置能力。
S-Eval在评估大型语言模型时的表现如何？
S-Eval在20个流行模型上评估，结果显示其优于现有基准，能更好反映安全风险信息。
提示注入和代码滥用是怎样的新风险？
研究引入了提示注入和代码滥用等新风险，强调了安全性与效用之间的权衡。
如何量化大型语言模型的安全效用权衡？
建议使用False Refusal Rate（FRR）来量化安全效用权衡，发现许多LLMs能够有效拒绝不安全请求。
当前大型语言模型的安全性存在哪些问题？
当前大型语言模型的安全性仍需改进，尤其是在利用生成方面。
