量子位
·
曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
深度学习专家Yoshua Bengio加入Safeguarded AI项目，旨在构建负责理解和降低其他AI风险的AI系统。项目由英国高级研究与发明局支持，投入5900万英镑。Bengio将关注科学战略建议。项目划分为三个技术领域：支架、机器学习和应用。他们提出了一套称为“Guaranteed Safe AI”的模式，通过世界模型、安全规范和验证器量化AI系统的安全保障。
🎯
关键要点
- 深度学习专家Yoshua Bengio加入Safeguarded AI项目，担任科学总监。
- Safeguarded AI项目旨在构建负责理解和降低其他AI风险的AI系统。
- 该项目由英国高级研究与发明局支持，投入5900万英镑。
- 项目分为三个技术领域：支架、机器学习和应用。
- 提出了“Guaranteed Safe AI”的模式，通过世界模型、安全规范和验证器量化AI系统的安全保障。
- 世界模型提供数学描述，阐述AI系统如何影响外部世界。
- 安全规范定义可接受的效果，验证器提供符合安全规范的可审计证书。
- 划分了L0-L5安全等级，描述不同的世界模型使用情况。
- AI风险是行业关注的焦点，Bengio与其他AI专家共同呼吁重视AI风险问题。
➡️
