InfoQ
·
可信的生产力：保障人工智能加速发展的安全性
💡
原文英文，约3300词，阅读约需12分钟。
📝
内容提要
在代理系统中，需将所有输入视为不可信，实施来源验证和权限控制以防止攻击。应分离规划与监督，使用短期凭证和沙箱环境限制工具访问。通过STRIDE和MAESTRO模型进行威胁建模，记录代理循环并逐步增强安全性。确保代理执行任务时有明确界限和人类监督，以防止潜在灾难性后果。
🎯
关键要点
- 在代理系统中，所有输入都应视为不可信，实施来源验证和权限控制以防止攻击。
- 应分离规划与监督，使用政策意识的批评者和可审计的痕迹来限制代理的推理方式。
- 限制工具的访问范围，使用短期凭证和沙箱环境来降低风险。
- 采用STRIDE和MAESTRO模型进行威胁建模，系统性地识别代理循环中的具体威胁。
- 确保代理执行任务时有明确界限和人类监督，以防止潜在的灾难性后果。
- 上下文管理是代理能看到的所有信息，包括系统提示和工具输出。
- 常见的上下文失败模式包括记忆污染、特权崩溃和沟通漂移。
- 实施来源门控，确保信息来源于官方渠道并具有签名清单。
- 在RAG管道中使用分类器来检测和隔离潜在的恶意输入。
- 将代理的创造性部分与批评部分分开，以增强安全性和创造力。
- 建立强大的日志记录系统，以便追踪计划和执行的每一步。
- 定义代理的自主权边界，确保人类在关键决策中参与。
- 工具设计至关重要，确保工具的能力和访问权限经过严格审查。
- 使用短期、任务范围的凭证来降低长期凭证的风险。
- 代理生成的代码应在隔离的环境中运行，以防止潜在的安全漏洞。
- 通过STRIDE和MAESTRO模型对代理循环进行威胁建模，以识别和应对潜在威胁。
- 建立信任的自主代理需要实施严格的安全措施和人类监督。
➡️
