曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作
内容提要
深度学习专家Yoshua Bengio加入Safeguarded AI项目，旨在构建负责理解和降低其他AI风险的AI系统。项目由英国高级研究与发明局支持，投入5900万英镑。Bengio将关注科学战略建议。项目划分为三个技术领域：支架、机器学习和应用。他们提出了一套称为“Guaranteed Safe AI”的模式，通过世界模型、安全规范和验证器量化AI系统的安全保障。
延伸解读
项目资金与组织架构
Safeguarded AI项目由英国高级研究与发明局（ARIA）支持，总投入5900万英镑。项目划分为三个技术领域：支架、机器学习和应用。ARIA还计划投入1800万英镑成立一个非营利组织，专门领导机器学习领域的研发工作。Bengio加入后担任科学总监，将特别关注应用和机器学习领域，为整个计划提供科学战略建议。
Guaranteed Safe AI的核心机制
该模式通过三个核心相互作用来量化AI系统的安全保障：世界模型提供数学描述，阐述AI系统如何影响外部世界，并处理贝叶斯和奈特不确定性；安全规范定义哪些效果是可接受的数学描述；验证器提供证明AI符合安全规范的可审计证书。三者共同构成一个可审计的安全保障框架。
世界模型的安全等级划分
为创建世界模型，项目划分了L0到L5六个安全等级。L0没有明确的世界模型，假设隐含在训练数据和实现细节中；L1使用黑盒世界模拟器；L2使用机器学习生成的概率因果模型；L3使用经人类专家全面审核的概率因果模型；L4使用被正式验证为基本物理定律合理抽象的世界模型；L5不依赖具体世界模型，而是使用覆盖所有可能世界的全局性安全规范。等级越高，安全保障越强。
AI风险争议的背景
AI风险是行业关注的焦点，但专家意见不一。吴恩达认为AI风险被过度鼓吹，可能压制开源和创新；哈萨比斯则认为AGI风险若不从现在开始讨论，后果可能严重。Bengio与Hinton、姚期智、张亚勤等曾发表公开信，指出人类必须认真对待AGI在十年内超越人类能力的可能，并建议监管机构对AI发展全面洞察。
Q&A
Yoshua Bengio在Safeguarded AI项目中担任什么职务？
Yoshua Bengio在Safeguarded AI项目中担任科学总监。
Safeguarded AI项目的主要目标是什么？
Safeguarded AI项目旨在构建一个负责理解和降低其他AI风险的AI系统。
Safeguarded AI项目获得了多少资金支持？
该项目由英国高级研究与发明局支持，投入5900万英镑。
什么是“Guaranteed Safe AI”模式？
“Guaranteed Safe AI”模式通过世界模型、安全规范和验证器量化AI系统的安全保障。
世界模型在AI安全中有什么作用？
世界模型提供数学描述，阐述AI系统如何影响外部世界，并处理不确定性。
AI风险问题为何受到关注？
AI风险是行业关注的焦点，许多专家呼吁重视AI风险问题，以防止潜在的严重后果。
