来见证：关于网络物理系统安全保障的一些观点
内容提要
该文汇总多篇研究，探讨AI与自主系统的安全保障，包括基于四项伦理原则的保证论证框架与AI道德可接受性评估，面向信息物理系统的模拟测试、形式化验证和安全过滤器等方法，覆盖自动驾驶、医疗胰岛素泵等场景，强调从概率测试转向严格形式保证，并明确机器学习安全的定义与实现策略。
延伸解读
从概率测试到形式化保证的转变
文章指出，当前基于测试的验证方法在确保学习型信息物理系统安全方面存在局限，并提出从基础概率测试过渡到更严格方法的路线图，以提供正式保证。这反映了安全验证领域的一个趋势：对于自动驾驶、医疗设备等安全关键系统，仅靠统计测试不足以证明安全性，需要形式化验证等数学上严格的方法。
安全过滤器：统一框架与未来方向
安全过滤器方法综述提供了一个统一的技术框架，用于理解、比较和结合现有技术。文章指出，该框架为下一代自主机器人的部署提供了更可扩展的综合、鲁棒性监测和高效干预的方向。这意味着安全过滤器被视为实现自主系统安全保障的一种有前景的途径，但需要进一步研究以提高其可扩展性和鲁棒性。
医疗信息物理系统的安全保障案例
文章以胰岛素泵系统（APS）为例，介绍了机器学习控制器在学习式医疗物理系统中的安全保障方案。该方案通过实现深度神经网络进行预测，检查机器学习数据的充分性，并使用形式化验证分析预测的正确性。这展示了在医疗等高风险领域，如何结合数据充分性检查和形式化验证来建立对机器学习预测的信心。
伦理保证论证框架
文章提出了一种基于四个核心道德原则的框架——伦理保证论证模式，用于结构化、系统化地推理在特定情境下使用给定人工智能/自主系统的道德可接受性。该框架扩展了保证论证方法，旨在获得使用AI和自主系统时的可接受道德保证。这表明，除了技术安全，伦理考量也被纳入系统安全保障的范畴。
Q&A
如何评估AI或自主系统在特定情境下的道德可接受性？
该研究提出了一种基于四个核心道德原则的框架——伦理保证论证模式，用于结构化、系统化地推理在特定情境下使用给定AI/自主系统的道德可接受性，从而扩展和应用保证论证方法，获得可接受的道德保证。
信息物理系统（CPS）的安全验证有哪些主要技术？
针对CPS的安全验证技术包括：模拟测试、形式化验证和安全过滤器等方法。研究归纳了针对优化、路径规划、强化学习和重要性采样等技术的算法改进，并介绍了用于应对CPS软硬件状态空间巨大的问题分解技术。此外，还总结了自动驾驶汽车和飞行器防撞系统等领域的安全验证工具。
如何确保基于机器学习的医疗信息物理系统（如胰岛素泵）的安全？
针对学习式医疗物理系统（MCPS），特别是胰岛素泵系统（APS），安全保障方案包括：实现深度神经网络用于APS预测，检查ML数据的充分性，并使用形式化验证分析ML预测的正确性。该方案旨在建立对基于ML的预测的信心，并概述了基于经验开放的研究问题。
安全过滤器方法如何提升自主机器人的安全性？
安全过滤器方法综述提供了一个统一的技术框架，以理解、比较和结合现有技术，为下一代自主机器人的部署提供更可扩展的综合、鲁棒性监测和高效干预的方向。
机器学习安全有哪些实现策略？
实现机器学习安全的四种策略包括：内在安全设计、安全保护垫、安全失败和程序保护。研究还提出了相应的技术方法和异议函数，以确保解释性、因果性、人工参与和用户体验设计等方面的安全性。
当前CPS安全验证方法存在哪些局限性？未来方向是什么？
当前测试方法存在局限性，研究提出了从基础概率测试过渡到更严格方法的路线图，以提供正式保证。这包括从概率测试转向严格形式保证，并确定了当前测试方法的局限性。
