安全洗白：AI 安全基准实际上衡量了安全进展吗？
内容提要
本文探讨了人工智能（AI）安全性的重要性，强调在缺乏伦理评估标准的情况下，应关注AI系统的价值观。研究指出，自2015年以来，AI安全研究显著增加，但仍存在知识空白。AI安全措施可能加剧风险，需重新审视核心假设，并提出五个与事故风险相关的研究问题，以推动对AI应用安全的深入思考。
延伸解读
AI安全基准的现状与局限
文章提到MLCommons AI安全工作组创建的AI安全基准v0.5，包含13个危险类别和7个测试用例，采用确定性方法构建。但作者指出，现有评估方法不充分，可能提高风险，需要借鉴认知科学进行改革。这表明当前基准虽在推进，但覆盖面和效度有限，读者应关注其实际评估能力。
安全措施可能加剧风险
文章强调AI安全措施可能加剧而非减轻存在风险，对失败不可避免性、能力与伤害相关性等核心假设提出负面预期效用。乐观主义、缓解和整体性三种策略均面临瓶颈、完美障碍等挑战。这提示读者，安全干预并非总是有效，需警惕其意外后果。
从伦理到价值观的转向
由于缺乏度量AI系统伦理性的指标，作者建议将考虑转变为价值观而非伦理学，强调价值观的相对性。这种思路为AI安全研究提供新方法，但需注意价值观的多元性可能带来新的分歧。读者可思考如何在实际中操作这一转向。
研究空白与未来方向
文献计量学研究发现自2015年以来AI安全研究显著增加，但在技术问题、长期效用、价值联结和政策方面仍存在知识空白。文章提出五个与事故风险相关的研究问题，涉及错误目标函数、监督成本等。这些空白和问题指明了未来研究的关键领域。
Q&A
AI安全性的重要性是什么？
AI安全性对于防止系统行为偏离设计意图而导致的故障至关重要。
自2015年以来，AI安全研究的变化是什么？
自2015年以来，AI安全领域的研究活动显著增加，但仍存在知识空白。
AI安全措施可能带来哪些风险？
AI安全措施可能加剧风险，导致对AI失败的不可避免性和伤害严重程度的预期相关性。
文章中提到的与事故风险相关的研究问题有哪些？
文章提出了五个与事故风险相关的研究问题，包括错误的目标函数和安全探索等。
现有的人工智能系统评估方法存在哪些不足？
现有评估方法基本上是不充分的，增加了与AI相关的风险和潜在危害。
如何推动AI应用安全的深入思考？
需要重新审视核心假设，并提出相关的研究问题以推动深入思考。
