AI领袖提出SAFE指南,促进网络安全透明度

AI领袖提出SAFE指南,促进网络安全透明度

💡 原文英文,约1900词,阅读约需7分钟。
📝

内容提要

Linux基金会与Open Secure AI联盟(含NVIDIA、Cisco等120多家机构)提出SAFE指南,旨在将智能体网络安全事件转化为共享防护,通过保密收集分析、通知受影响方、识别控制失败并发布建议,降低系统性风险。联盟成员还贡献了全栈开源工具,涵盖身份权限、运行时防护、安全模型等,以加强AI安全防御。

🔎

延伸解读

SAFE指南的运作机制

SAFE指南的核心在于将智能体安全事件转化为共享防护。它提出保密收集和分析AI事件及未遂事件,通知受影响方,识别反复出现的控制失败,并发布基于证据的操作建议。这一流程旨在降低系统性风险,强调通过共享情报实现集体防御,而非仅靠单一组织应对。

开源工具覆盖全栈安全

联盟成员贡献了覆盖AI安全全栈的开源工具,从身份权限(如Okta的XAA参考实现、Palo Alto的Agent Guard)到运行时防护(如NVIDIA OpenShell、Cisco DefenseClaw),再到安全模型(如Cisco Antares、CrowdStrike微调的Nemotron Nano)。这些工具旨在让防御者能检查、适配并改进安全实践,以应对AI代理的复杂威胁。

AI代理安全的多层防御

文章强调,AI代理不仅是模型,而是包含身份控制、工具、运行时、日志和评估的系统。因此,安全防护需要多层协作,而非仅靠漏洞扫描。例如,NVIDIA的NOOA研究框架用于测试和审计代理行为,而LangChain的韧性能力确保代理在中断后能安全恢复。这种分层方法有助于全面覆盖代理生命周期的各个阶段。

Q&A

SAFE指南是什么?它由谁提出?

SAFE指南是Linux基金会与Open Secure AI联盟(包括NVIDIA、Cisco等120多家机构)提出的共享AI发现交换指南,旨在将智能体网络安全事件转化为共享防护,通过保密收集分析AI事件和未遂事件、通知受影响方、识别重复控制失败并发布基于证据的运营建议,以降低系统性风险。

SAFE指南的主要目标是什么?

SAFE指南的主要目标是将智能体网络安全事件转化为整个生态系统的共享防护,通过保密收集和分析AI事件及未遂事件、通知受影响方、识别重复的控制失败并发布基于证据的运营建议,从而降低系统性风险。

Open Secure AI联盟有哪些成员?

Open Secure AI联盟成员包括NVIDIA、Cisco、CrowdStrike、Hugging Face、Red Hat、Amazon、Visa、Okta、Palo Alto Networks、Capital One、Cloudflare、Microsoft、Wiz、Akamai、Cognition、Perplexity、Uber、LangChain、Veeam等120多家机构。

NVIDIA为AI安全贡献了哪些开源工具?

NVIDIA贡献了NOOA研究框架、OpenShell运行时、Nemotron、Cosmos、Isaac GR00T、BioNeMo、Alpamayo等开放模型,以及NeMo Guardrails、NeMo Anonymizer、NeMo Safe Synthesizer和Garak漏洞扫描器等工具。

联盟成员在身份和权限方面有哪些贡献?

Okta开发了代理身份和访问的参考实现,Palo Alto Networks贡献了Agent Guard和Agent Watch工具,Red Hat创立了asago项目,将治理要求映射到代理运行时行为。

联盟成员在模型方面有哪些安全模型贡献?

Cisco发布了Antares安全小语言模型和Project CodeGuard,CrowdStrike微调了NVIDIA Nemotron Nano模型用于网络防御,并展示了其在检测分诊中的优势。

Uber的ADR系统有什么功能?

Uber的ADR(Agentic AI Detection and Response)系统重建AI代理活动的完整因果链,从提示到推理、工具调用和结果,帮助安全团队检测威胁,目前每天支持超过20万次代理会话,覆盖3万个端点。

LangChain在可用性和韧性方面提供了哪些能力?

LangChain为其开源框架(Deep Agents、LangGraph和LangChain)增加了韧性能力,使代理能够重试中断的工作、遵循安全恢复路径、从保存状态恢复,并在主模型失败时自动回退到替代模型。

🏷️

标签

➡️

继续阅读