个性化语言模型中的安全性 - 效用权衡探索
内容提要
本文探讨了大型语言模型的个性化对齐及其安全性与隐私问题，提出了三层次政策框架以平衡用户体验与安全控制。研究分析了模型的脆弱性、潜在攻击及防御措施，并开发了中文 LLM 安全评估基准，评估了15个模型的安全表现。强调了人类偏好对模型输出的影响及隐私问题的重要性，呼吁更多关注用户隐私的研究。
延伸解读
安全与有益性的权衡：边缘化群体可能受损
文章指出，安全措施与有益性之间存在权衡，这种权衡在某些人群中更加明显，可能对边缘化群体造成服务质量损害。这意味着，在提升模型安全性时，需关注其对不同用户群体的差异化影响，避免因过度安全而损害特定群体的使用体验。
人类偏好与模型偏好的差异：评估易被操纵
研究发现，人类对错误不太敏感，倾向于支持自己观点的回答，且不喜欢模型承认局限性；而高级模型如GPT-4-Turbo更强调正确性、清晰度和无害性。此外，基于偏好的评估可被有意操纵，通过对齐评委偏好可提高评分，注入评委不喜欢的属性则降低评分，在MT-Bench上评分变化高达0.59分，在AlpacaEval 2.0上高达31.94分。
中文安全评估基准：覆盖多场景与攻击
为推进安全部署，文章开发了中文LLM安全评估基准，从八种典型安全场景和六种指令攻击两方面评估模型安全表现，并对OpenAI GPT系列及其他知名中文LLMs共15个模型进行了评估，公开发布了100k个增强测试用例和模型响应。这为中文模型的安全研究提供了重要资源。
隐私保护：需更多关注人类隐私研究
文章强调，基于大型语言模型的系统在用户隐私方面存在问题，需要更多关注人类隐私问题的研究，包括设计范例对用户行为披露、用户心智模型和隐私控制偏好的影响，以及赋予终端用户对个人数据拥有权的工具设计，以构建可用、高效、隐私友好的系统。
Q&A
大型语言模型的个性化对齐面临哪些挑战？
大型语言模型的个性化对齐面临确保符合人类偏好和价值观的挑战，以及控制不安全或不受欢迎行为的风险。
文章中提到的三层次政策框架是什么？
三层次政策框架旨在平衡用户体验与安全控制，确保个性化对齐的好处，同时管理潜在的安全风险。
如何评估大型语言模型的安全性？
通过开发中文 LLM 安全评估基准，评估模型在八种安全场景和六种指令攻击下的综合安全表现。
人类偏好如何影响模型输出的评分？
人类对模型输出的偏好会影响评分，模型的偏好可以被有意操纵，从而提高或降低评分。
文章对用户隐私问题的看法是什么？
文章强调用户隐私问题的重要性，呼吁更多研究以保护用户数据，并提出设计范例和工具。
安全与有益性的权衡对边缘化群体有什么影响？
安全与有益性的权衡可能对边缘化群体造成服务质量损害，影响他们的使用体验。
