构建安全的AI代理

AI代理是具备系统提示和工具的语言模型，工具增强了模型能力，但也引入了安全风险。

最关键的安全风险是提示注入，攻击者可以通过注入命令操控模型。

设计AI代理时需假设攻击者控制整个提示，包括用户输入和工具返回的数据。

工具权限应限制在调用者的权限范围内，确保模型只能访问用户已授权的内容。

即使调用代理的人是可信的，传递给它的数据也可能不安全。

提示注入常常源于间接输入，如数据库内容、网络抓取或搜索API返回的数据。

有效的防御措施是对数据来源进行验证，并假设每个输入都可能被攻击者控制。

在输出渲染之前，应清理模型输出，以防止潜在的攻击。

安全不是信任模型，而是减少模型错误行为带来的损害。

在构建代理时，应优先考虑失败路径，然后再进行发布。