Vercel News
·
构建安全的AI代理
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
AI代理是具备系统提示和工具的语言模型，工具虽然增强了模型能力，但也引入了安全风险，尤其是提示注入。攻击者可能通过注入命令来操控模型，因此设计时需假设攻击者控制整个提示。应限制工具权限，确保模型仅能访问用户授权的内容，并对模型输出进行清理，以降低潜在风险。安全的关键在于减少错误行为的影响，而非单纯信任模型。
🎯
关键要点
- AI代理是具备系统提示和工具的语言模型，工具增强了模型能力，但也引入了安全风险。
- 最关键的安全风险是提示注入，攻击者可以通过注入命令操控模型。
- 设计AI代理时需假设攻击者控制整个提示，包括用户输入和工具返回的数据。
- 工具权限应限制在调用者的权限范围内，确保模型只能访问用户已授权的内容。
- 即使调用代理的人是可信的，传递给它的数据也可能不安全。
- 提示注入常常源于间接输入，如数据库内容、网络抓取或搜索API返回的数据。
- 有效的防御措施是对数据来源进行验证，并假设每个输入都可能被攻击者控制。
- 在输出渲染之前，应清理模型输出，以防止潜在的攻击。
- 安全不是信任模型，而是减少模型错误行为带来的损害。
- 在构建代理时，应优先考虑失败路径，然后再进行发布。
❓
延伸问答
什么是AI代理？
AI代理是具备系统提示和工具的语言模型，能够通过API、文件系统和外部服务扩展其能力。
提示注入是什么？
提示注入是一种安全风险，攻击者可以通过注入命令操控模型，类似于SQL注入。
如何设计安全的AI代理？
设计时需假设攻击者控制整个提示，限制工具权限，并确保模型只能访问用户授权的内容。
为什么要限制工具的权限？
限制工具权限可以防止模型访问用户无法访问的数据，从而降低数据泄露的风险。
如何防止模型输出中的安全风险？
应在渲染输出之前清理模型输出，并对数据来源进行验证，以防止潜在的攻击。
构建AI代理时应优先考虑什么？
应优先考虑失败路径，确保在发布之前充分考虑潜在的安全问题。
➡️
