降低Databricks上AI代理的提示注入风险

为降低AI代理的提示注入风险，应强化敏感数据访问、处理不可信输入和外部通信控制三大支柱。

通过细粒度访问控制、内容安全过滤和网络策略，确保代理仅访问必要数据，减少攻击面。

监控机制可及时发现潜在安全威胁，保障AI系统安全。

第一支柱：敏感系统或私有数据的访问控制，限制代理访问超出必要范围的数据。

使用OBO认证和细粒度访问控制列表，确保代理仅能访问用户所需的数据。

第二支柱：处理不可信输入的控制，防止恶意内容通过社交媒体等渠道影响代理。

应用内容安全过滤和自定义模型来检测和阻止提示注入攻击。

第三支柱：改变状态或外部通信的控制，限制代理的外部网络访问和数据写入权限。

通过服务器无状态出口控制和工作区绑定，减少数据外泄和状态改变的风险。

使用Mosaic AI Gateway监控AI代理的输入和输出，及时发现安全风险。

Databricks AI安全框架提供67项实用控制措施，帮助组织降低提示注入、越狱和数据外泄等风险。

持续监控和评估安全态势，确保AI系统的安全性与时俱进。