SafetyPrompts: 评估和改进大型语言模型安全性的开放数据集的系统综述
内容提要
本文探讨了中文大型语言模型（LLM）的安全性评估，提出了针对不同风险类型的评估标准，并开发了多语言安全基准（XSafety）。研究发现区域特定风险是主要问题，许多开源模型存在安全弱点。通过引入新的测试套件和细致标注的数据集，显著提高了模型的安全性，建议开发者加强系统提示以降低风险。
延伸解读
区域特定风险：中文LLM安全的主要挑战
文章指出，区域特定风险是中文大型语言模型最普遍的风险类型，也是所研究的所有中文LLM的主要问题。这意味着在中文语境下，模型可能对某些本地敏感话题缺乏足够的识别和拒绝能力，导致不安全输出。开发者在部署中文LLM时，需特别关注这类风险，并针对性地优化模型的安全对齐。
多语言安全差距：非英语查询更易引发不安全回复
通过多语言安全基准XSafety，研究发现所有大型语言模型对非英语查询的不安全回复明显增多。这表明模型的安全机制可能更偏向英语，其他语言用户面临更高风险。文章提出了几种简单有效的提示方法，能显著提高ChatGPT的多语言安全性，为改善多语言安全提供了可行方向。
开源模型的安全弱点与系统提示的局限性
SimpleSafetyTests测试套件对11个开源LLM的评估显示，大多数模型在超过20%的情况下会给出不安全回答，极端情况下超过50%。虽然在系统提示中强调安全性可大幅减少不安全回答，但无法完全阻止。因此，开发者应将此类提示作为第一层防线，同时结合其他安全措施。
安全评估与改进的多样化方法
文章介绍了多种安全评估和改进方法，包括基于SafetyBench的评估工具、安全可靠LLM（SRLLM）的微调、以及医学LLM的安全评估。这些工作表明，通过细致标注的数据集和微调，可以显著减少不安全内容。GPT-4在安全性上表现突出，但整体上LLM的安全性仍有提升空间。
Q&A
大型语言模型的安全性评估标准是什么？
本文提出了针对不同风险类型的安全评估标准，旨在手动注释和自动评估LLM响应的有害性。
区域特定风险在中文LLM中有什么影响？
区域特定风险被发现是中文LLM的主要问题，影响了模型的安全性和可靠性。
XSafety是什么，它的作用是什么？
XSafety是一个多语言安全基准，用于评估大型语言模型的安全性，特别是对非英语查询的安全性。
如何提高大型语言模型的安全性？
可以通过引入系统提示强调安全性、使用细致标注的数据集和开发新的测试套件来提高模型的安全性。
SimpleSafetyTests测试套件的目的是什么？
SimpleSafetyTests测试套件旨在快速系统地识别大型语言模型的重大安全风险，包含100个测试提示。
GPT-4在安全性方面的表现如何？
GPT-4在安全性评估中表现突出，但仍需进一步改进以提升整体安全性。
