面向 Evidential 工具总线的 ADS 连续保证案例创建
内容提要
该文综述了AI与自主系统安全保障论证的多项研究，涵盖合规性缺陷检测、伦理保证论证模式、行为树形式化验证、可信自适应软件、大语言模型辅助构建保证案例、贝叶斯推断评估自动驾驶、保证案例信任度评估、AI组件证明结构、机器学习组件保证案例框架及数据质量检测等方向。
延伸解读
研究脉络与核心议题
文章梳理了2020至2024年间AI与自主系统安全保障论证的多项研究，核心议题包括合规性缺陷检测、伦理保证论证、行为树形式化验证、可信自适应软件、大语言模型辅助构建保证案例、贝叶斯推断评估自动驾驶、保证案例信任度评估、AI组件证明结构、机器学习组件保证案例框架及数据质量检测。这些研究共同指向如何系统化地构建和评估保证案例，以应对AI系统在安全关键领域中的可信性挑战。
方法演进：从形式化到智能化
早期研究侧重形式化方法，如行为树规范验证和贝叶斯推断评估，强调数学严谨性。随后，研究引入系统工程方法（如ENTRUST工具）生成动态保障案例，并探索利用大语言模型（如Trusta）自动构建可信度推导树。近期则关注数据质量检测和机器学习组件保证案例框架，体现了从静态验证向动态、数据驱动和智能化方向的演进。
信任评估的多维性
文章指出，保证案例的信任程度不能简化为单一属性或测量，而应基于积极、消极和残留疑虑三个维度进行评估。这一观点挑战了传统上对保证案例的二元信任判断，提示读者在评估AI系统安全性时，需综合考虑多方面的证据和不确定性，避免过度简化。
实践工具与框架
多项研究提供了具体工具和框架，如ENTRUST工具支持可信自适应软件开发并生成动态保障案例，基于Python和Jupyter Notebook的框架支持机器学习组件中保证案例的实施，以及检测数据质量的新方法。这些工具旨在降低保证案例构建的复杂度，提升其可操作性和自动化水平，为工程实践提供参考。
Q&A
什么是伦理保证论证模式？
伦理保证论证模式是一种基于四个核心道德原则的框架，用于结构化、系统化地推理在特定情境下使用给定人工智能或自主系统的道德可接受性，从而扩展和应用保证论证方法，获得使用AI和自主系统时的可接受道德保证。
如何用行为树保证机器人的安全性和可靠性？
通过行为树的形式化规范及验证方法，可以保证机器人在安全和可靠性方面的要求得到满足。
Trusta如何利用大语言模型提升保证案例的构建？
Trusta通过整合大型语言模型，建立和验证可信度推导树（TDTs），从而提升保证案例的构建和评估，实现安全工程中自动推理的新方法。
如何评估自动驾驶系统的可靠性和安全性？
可以使用保守贝叶斯推断方法，从技术层面评估自动驾驶系统，以维护其高可靠性和安全性。
保证案例的信任程度如何评估？
保证案例的信任程度不能简单化为单一的属性或测量，而应基于积极、消极和残留疑虑这三个不同的属性进行评估。
如何将AI组件纳入保证案例的证明结构？
可以提出更全面的证明结构，以显示AI组件已实现定量目标的能力，包括测试结果、运行时方面、范围符合性和测试数据质量的数量化考虑和讨论。
如何检测安全关键系统中数据的有害属性？
提出了一种保证数据质量的新方法，首先讨论数学基础，并使用多个示例展示该方法，从而检测出在安全关键系统中使用可能存在有害属性的数据点。
