基于科学的人工智能模型认证在未经培训的操作环境中的应用于交通状况估计
内容提要
本文探讨了人工智能（AI）系统在采用、推广和维护中的问题，强调确保AI决策安全的技术和挑战。提出了可信AI的属性和模型，呼吁制定相关规范和监管标准，以应对AI滥用风险，并介绍了多阶段AI部署方法及标准化卡片的使用，以提高AI系统的安全性和可靠性。
延伸解读
AI安全认证的迫切性
文章指出，当前机器学习组件形式化程度低且存在不确定性，传统系统工程方法难以验证其安全性。这导致在交通状况估计等关键应用中，AI决策的可靠性存疑。因此，制定针对AI的规范和监管标准，并开发可信认证方法，成为推动AI安全落地的核心挑战。
多阶段部署与不确定性量化
文章介绍了一种多阶段AI部署方法，通过逐步采用更准确的推理方法来平衡成本与精度。同时，提出量化模型不确定性的技术，使系统能在置信度不足时推迟决策。该方法已在印度棉农中实际部署，表明其在低资源环境下的适用性，为交通等领域的AI部署提供了参考。
标准化卡片促进审计与信任
文章建议在AI开发全过程中使用标准化卡片（如数据卡、模型卡、用例卡和操作卡）来记录应用信息。这些卡片引用监管来源和研究，有助于从业人员开发安全系统，并使第三方能高效审计，从而在系统中建立信任。这呼应了欧盟监管趋势，为AI认证提供了实用工具。
防范科学滥用：SciGuard与红队基准
针对AI在科学领域的滥用风险，文章提出了SciGuard系统及SciMT-Safety红队基准，用于控制模型滥用并评估安全性。评估显示该方法有害影响最小且不影响良性性能。文章强调跨学科合作以确保AI在科学中的道德使用，这对交通等领域的AI治理也具有借鉴意义。
Q&A
人工智能系统在推广和维护中面临哪些问题？
人工智能系统在推广和维护中面临低形式化程度和不确定性等问题，导致传统工程方法难以验证其安全性。
什么是可信的人工智能认证方法？
可信的人工智能认证方法是为应对机器学习组件的不确定性而提出的工具和方法，旨在提高AI系统的安全性和可靠性。
SciGuard系统的主要功能是什么？
SciGuard系统旨在控制科学领域中人工智能模型的滥用风险，确保AI的负责任使用。
如何提高人工智能决策的安全性？
提高人工智能决策安全性的方法包括制定规范和监管标准，以及使用标准化卡片记录AI应用。
文章中提到的多阶段AI部署方法有什么特点？
多阶段AI部署方法通过各个阶段采用更准确的推理方法，但每个阶段的参与会增加成本。
人工智能在科学领域的滥用风险有哪些？
人工智能在科学领域的滥用风险包括数据偏差和不负责任的使用，可能导致错误的决策和结果。
