自主AI安全：Databricks AI安全框架（DASF v3.0）中的新风险与控制措施

Databricks发布了AI安全框架（DASF）扩展白皮书，提出35种新风险和6种控制措施。

更新内容包括对自主AI代理的推理、记忆和工具使用的安全指导。

新风险和控制措施帮助组织安全部署AI代理，同时维护治理和安全控制。

DASF框架现在包含97种风险和73种控制措施。

AI代理可以执行查询、调用API、执行代码和与其他代理协调，带来了新的安全风险。

当AI代理能够采取行动时，用户的权限可能会被代理的权限所替代。

存在三种条件时，AI代理的风险会显著增加：访问敏感系统、处理不可信输入、改变状态或进行外部通信。

35种新风险和6种控制措施围绕代理的核心、MCP服务器风险和MCP客户端风险进行组织。

代理之间的通信可能导致代理通信污染和多代理系统中的流氓代理风险。