内容提要
文章指出,AI代理能力虽不断提升,企业部署仍受阻。主要问题包括:多数企业不清楚代理权限;80%的风险行为源于内部误用;代理身份与归属管理混乱;逐代理审批不可持续,应改用机器可读合约;人工复核负担重,87%的团队耗时核验。建议采用“扫描、设定、监督”框架,由守护代理实时检查并拦截越界行为。
延伸解读
能力与部署的落差
文章引用OSWorld基准测试数据:任务完成率从2024年的约12%提升到2026年的66%,但企业实际规模化部署代理的比例仍不超过10%。这说明技术能力并非主要瓶颈,多数团队甚至无法明确代理的权限边界。这种落差提示,部署障碍更多来自治理与管控,而非模型本身。
内部误用是主要风险源
文章指出,80%的组织报告过代理的危险行为,如不当数据暴露,但其中很少涉及外部攻击者。一个典型场景是销售团队克隆报价代理并修改提示词,导致已废止的折扣规则被继续应用。这意味着企业应优先关注内部对代理的复制、修改和滥用,而非仅防范外部入侵。
代理身份与归属管理混乱
文章提到,非人类身份数量约为人类身份的45倍,但不到一半的CISO清楚代理的位置和访问权限。例如,开发者周末将代理接入CRM后离职,代理仍以其凭证运行。每个代理都需要独立身份和在职负责人,否则权限会随人员流动而失控。
审批与复核的可持续性
文章认为,逐代理委员会审批在十个代理时可行,上百个时就会崩溃,尤其当代理内置于已购软件中时。建议采用机器可读的代理合约,让每个代理继承基线规则,再按风险和领域细化。同时,87%的团队耗时人工复核代理依赖的上下文,守护代理可实时检查并拦截越界行为,减少人工负担。
Q&A
AI代理能力已经很强了,为什么企业还是难以大规模部署?
尽管AI代理在基准测试上的任务完成率从2024年的约12%提升到2026年的66%,但不超过10%的企业在单一职能中规模化部署代理。主要障碍是多数团队不清楚代理被允许接触什么,权限管理不清晰导致 rollout 停滞。
AI代理造成的数据风险主要来自外部攻击还是内部误用?
80%的组织报告过代理的危险行为(如不当数据暴露),但其中很少涉及攻击者。大多数风险源于内部误用,例如销售团队克隆报价代理并修改提示词,导致代理继续应用已废止的折扣规则。
企业如何管理大量AI代理的身份和归属?
每个代理都需要独立的身份和一个在职的负责人。目前非人类身份与人类的比例约为45:1,但不到一半的CISO清楚代理的位置和访问权限。常见问题包括开发者将代理接入CRM后离职,代理仍用其凭证运行。
为什么逐个审批AI代理的方式不可持续?应该用什么替代?
逐个代理审批在代理数量少时可行,但数量上百时就会崩溃,尤其是代理已内置在现有软件中。更可持续的方式是采用机器可读的代理合约:所有代理继承一个基线,再根据风险和领域添加更细的规则。
人工复核AI代理行为给团队带来了多大负担?如何减轻?
87%的团队花费大量时间重新核验代理所依赖的上下文。减轻负担的方法是使用守护代理:在代理运行时根据合约检查每个动作,并标记、重定向或阻止越界行为,人工只需处理越界情况。
文章建议企业采用什么框架来管理AI代理风险?
文章建议采用“扫描、设定、监督”框架,并提供了10步行动计划和AI信任评分评估,帮助企业确定优先修复的问题。