人工智能安全：一代新的生成式人工智能和控制系统安全的后裔
内容提要
本文提出了一个三层框架，用于评估生成型人工智能系统的安全风险，结合体系安全原则与人类互动，分析现有评估问题并提出解决方案。同时，探讨了人工智能系统在不可预测环境下的挑战，强调设计应优先考虑代理的保留。
延伸解读
三层评估框架的构成与意义
文章提出的三层框架在传统体系安全原则基础上，增加了人类互动和系统影响两个评估层。这意味着评估生成式AI安全时，不能只看技术漏洞，还要考虑人机交互中的行为变化以及系统对社会产生的连锁效应。这种扩展有助于更全面地识别风险，避免仅从单一维度判断安全性。
现有安全评估的不足与改进方向
文章指出当前安全评估存在若干问题，并提出了相应解决办法。虽然未具体列出所有问题，但结合上下文可知，评估需要更系统地整合体系安全原则与人类互动因素。改进方向可能包括建立跨学科评估标准、引入共享语言，以及将社会技术框架纳入考量，从而提升评估的覆盖面和准确性。
不可预测环境下的设计优先项
针对AI系统在不可预测环境中运行的挑战，文章强调设计应优先考虑代理的保留，而非单纯追求与人类意图的一致性。这意味着在复杂多变的情境中，保持AI系统自身的代理能力可能更有利于长期安全。这一观点提示设计者需在一致性与代理保留之间寻求平衡，并推动‘代理基础’领域的研究。
跨学科方法与共享语言的重要性
文章提出的七个防止伤害的课程中，特别强调了跨学科方法和共享语言。由于AI安全涉及技术、法律、社会等多个领域，缺乏共识和共同术语会导致诊断和消除危害的效率低下。因此，建立跨学科协作机制和统一的话语体系，是有效管理AI风险、应对公共机构及基础设施中新危害的关键。
Q&A
生成型人工智能系统的安全评估框架是什么？
本文提出了一个三层框架，结合体系安全原则和人类互动来评估生成型人工智能系统的安全风险。
文章中提到的防止人工智能系统造成伤害的课程有哪些？
文章提出了七个防止人工智能系统造成伤害的课程，强调跨学科方法和共享语言的重要性。
人工智能系统在不可预测环境下面临哪些挑战？
人工智能系统在不可预测环境下操作时面临的挑战包括不确定性和安全行为的信心问题。
如何改进人工智能与人类的交互？
改进人工智能与人类的交互可以通过实现个性化输出而不损失生产力来解决同质化和偏见问题。
文章中提到的设计原则是什么？
文章提出了七个面向多个结果和潜在危害的生成式人工智能设计原则，基于HCI和AI社区的最新研究。
如何确保人工智能系统的长期代理保留？
应将人工智能系统设计为优先考虑代理的保留，而不是人类意图的一致性，并在代理基础领域进行研究。
