可信的生产力：保障人工智能加速发展的安全性

在代理系统中，所有输入都应视为不可信，实施来源验证和权限控制以防止攻击。

应分离规划与监督，使用政策意识的批评者和可审计的痕迹来限制代理的推理方式。

限制工具的访问范围，使用短期凭证和沙箱环境来降低风险。

采用STRIDE和MAESTRO模型进行威胁建模，系统性地识别代理循环中的具体威胁。

确保代理执行任务时有明确界限和人类监督，以防止潜在的灾难性后果。

上下文管理是代理能看到的所有信息，包括系统提示和工具输出。

常见的上下文失败模式包括记忆污染、特权崩溃和沟通漂移。

实施来源门控，确保信息来源于官方渠道并具有签名清单。

在RAG管道中使用分类器来检测和隔离潜在的恶意输入。

将代理的创造性部分与批评部分分开，以增强安全性和创造力。

建立强大的日志记录系统，以便追踪计划和执行的每一步。

定义代理的自主权边界，确保人类在关键决策中参与。

工具设计至关重要，确保工具的能力和访问权限经过严格审查。

使用短期、任务范围的凭证来降低长期凭证的风险。

代理生成的代码应在隔离的环境中运行，以防止潜在的安全漏洞。

通过STRIDE和MAESTRO模型对代理循环进行威胁建模，以识别和应对潜在威胁。

建立信任的自主代理需要实施严格的安全措施和人类监督。