The GitHub Blog
·
GitHub的代理安全原则如何使我们的AI代理尽可能安全
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
为确保AI代理的可用性和安全性，我们制定了指导原则，强调人类参与的重要性。关注数据泄露、身份冒充和提示注入等风险，通过可视化上下文、限制敏感信息访问和防火墙等措施增强安全性，确保操作明确归属，责任清晰。
🎯
关键要点
- 为确保AI代理的可用性和安全性，强调人类参与的重要性。
- AI产品的功能越强大，风险越大，可能导致安全事件。
- 主要关注三类风险：数据泄露、身份冒充和提示注入。
- 确保所有上下文可见，以防恶意用户隐藏指令。
- 通过防火墙限制代理访问潜在有害的外部资源。
- 限制对敏感信息的访问，确保代理只获取必要的信息。
- 防止不可逆状态变化，确保人类在环节中参与。
- 清晰归属用户和代理的行为，确保责任链明确。
- 仅从授权用户收集上下文，确保代理在授权范围内操作。
- 这些安全原则适用于所有新AI产品，旨在增强用户信心。
❓
延伸问答
GitHub的AI代理安全原则有哪些主要风险关注点？
主要关注数据泄露、身份冒充和提示注入三类风险。
如何确保AI代理的上下文信息可见？
通过显示生成上下文的文件，并移除任何不可见或被掩盖的信息，确保维护者能看到所有信息。
GitHub如何防止AI代理进行不可逆的状态变化？
确保代理在没有人类参与的情况下无法发起不可逆的状态变化，例如只能创建拉取请求而不能直接提交。
AI代理如何限制对敏感信息的访问？
只向代理提供其正常运行所需的绝对必要信息，避免传递敏感数据。
GitHub的AI代理如何确保责任链的明确？
任何用户发起的代理交互都清晰归属给该用户，代理的行为也明确标识为AI生成。
人类参与在AI代理安全中有何重要性？
人类参与可以防止代理做出错误决策，确保操作的安全性和可控性。
➡️
