大型语言模型系统的风险分类、缓解和评估基准
内容提要
本文综述大语言模型的安全与评估研究：提出基于提示的攻击风险分类，梳理十类脆弱性及缓解措施；综述隐私攻击与防护；通过大规模查询揭示稳健性、一致性和可信度问题；提出知识能力、对齐与安全三方面评估框架；分析法律、医学等高风险领域的事实准确性与安全性局限；并讨论社会偏见评估、知识融入及电力系统应用中的潜在威胁。
延伸解读
从提示到生命周期：风险分类的实践视角
文章提出的基于提示的攻击风险分类，聚焦用户与模型通信路径上的安全风险，并将十类脆弱性叠加到LLM的高级生命周期上。这提示开发者在设计应用时，不能只关注模型本身，还需审视提示交互环节和模型部署各阶段的风险分布，从而更有针对性地部署缓解措施。
隐私与稳健性：被量化的信任缺口
文章综述了语言模型隐私的技术研究，包括攻击与缓解策略的分类及现有策略的强项与局限；同时通过数百万次查询揭示主流LLM在稳健性、一致性和可信度上的问题。这表明当前模型在真实使用中仍存在可被利用的薄弱点，评估时需将隐私泄露和输出不稳定纳入考量。
高风险领域：准确性与安全性的双重考验
在法律和医学两个高风险领域的六个NLP数据集上，指导调优的语言模型暴露出事实准确性和安全性局限。文章强调需改进领域特定指标，并以更人性化的方法增强安全性和事实可靠性。这提醒实践者，在高风险场景部署LLM前，应进行领域适配评估，并关注欧盟AI法案等合规要求。
评估框架：从能力到社会影响的综合视角
文章提出知识与能力、对齐与安全三方面的评估框架，并涵盖社会偏见评估、知识融入及电力系统应用中的潜在威胁。这意味着负责任的LLM评估不应局限于基准分数，还需考察偏见传播、知识整合效果及特定行业应用的安全威胁，以构建覆盖能力、对齐、安全和适用性的综合评估平台。
Q&A
大型语言模型在用户-模型通信路径上存在哪些安全风险？
文章提出了一种基于提示的攻击风险分类方法，通过具体攻击示例强调LLM在用户-模型通信路径上的安全风险，旨在为开发安全性强、值得信赖的LLM应用程序提供指导。
LLM的脆弱性主要分为哪几类？如何缓解？
文章将LLM的脆弱性分为十个高级类别，并与LLM的高级生命周期叠加；同时综述了一些常见的缓解措施。
针对LLM的隐私攻击有哪些？现有的防护策略效果如何？
文章首次提供了关于语言模型隐私的技术综述，包括攻击与缓解策略的分类、现有攻击的趋势、现有缓解策略的强项与局限性，并找出关键缺口提出解决方法与关切领域。
大规模查询实验揭示了LLM在哪些方面的问题？
研究使用自动化工作流程对ChatGPT、LLaMA和OPT等主流LLM进行了数百万次查询，揭示了LLM在稳健性、一致性和可信度方面存在的问题，并提出了一种新的关联数据集索引来评估使用LLM进行学术评估的可行性。
评估大型语言模型应该从哪些方面入手？
文章综述了LLM的评估方法，提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。
在法律和医学等高风险领域，LLM的事实准确性和安全性表现如何？
研究对指导调优的语言模型在法律和医学两个高风险领域的六个自然语言处理数据集上进行实验，发现目前语言模型存在局限性，强调了提高语言模型能力和改进领域特定指标的重要性，以及通过更人性化的方法来增强安全性和事实可靠性。
LLM中的社会偏见如何评估和缓解？
文章综述了社会偏见评估和缓解技术，介绍了社会偏见与公平的概念、评估指标和数据集，以及干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在LLM中的传播。
将LLM应用于电力系统可能带来哪些安全威胁？
文章分析了应用LLM于电力系统可能造成的潜在安全威胁，并强调了对紧急研究和开发应对措施的需求。
