利用身份感知分析捕捉失控AI行为

💡 原文英文,约2400词,阅读约需9分钟。
📝

内容提要

Cloudflare推出AI Gateway与Cloudflare Access集成,通过身份认证追踪每个AI请求的用户,并新增User Insights功能,基于用户历史行为基线检测异常活动(如成本飙升),帮助组织识别失控代理或潜在安全风险,同时支持设置用户级支出限制。

🔎

延伸解读

身份感知如何改变AI治理

文章指出,组织在AI治理中面临的最大障碍是知识差距,而身份感知分析正是解决这一问题的关键。通过将每个请求与真实用户身份绑定,组织不仅能追踪成本,还能识别异常行为。这种能力将AI治理从单纯的财务控制提升到安全层面,因为行为偏离基线往往是凭证泄露或代理失控的早期信号。

异常检测的统计方法

User Insights采用基于用户历史行为的动态基线,而非固定阈值。它使用每个用户过去30天的p95会话成本作为基准,超过2倍即视为异常,同时结合账户级p99作为绝对上限,确保异常既相对显著又绝对重要。这种方法避免了误报,例如对高用量用户的正常波动或微用户的微小尖峰不敏感。

实际应用与限制

该功能目前仅提供监控和告警,不自动阻断或判断意图。管理员需要结合日志进一步调查。文章提到,异常可能源于凭证泄露、代理失控,也可能只是开发者不当使用(如将整个代码库放入提示)。因此,该工具的价值在于提供线索,而非最终结论。

Q&A

Cloudflare AI Gateway与Cloudflare Access集成有什么好处?

集成后,可以通过Cloudflare Access对AI Gateway进行身份认证,支持SAML身份提供商(如Okta或Entra),无需再生成和传递API密钥。每个请求都会携带经过验证的用户身份,便于按用户过滤日志、分析和支出,并设置用户级支出限制。

User Insights如何检测异常AI行为?

User Insights通过为每个账户建立行为基线,将每个会话的成本与该账户过去30天的95分位(p95)会话成本进行比较,如果超过2倍p95且超过账户级p99上限,则标记为异常。它还会考虑绝对金额下限,避免对小额波动发出警报。

AI Gateway是什么?

AI Gateway是Cloudflare提供的中央控制平面,用于管理所有AI使用。所有AI请求(如OpenAI、Anthropic、Google或Workers AI)都先经过AI Gateway,从而在一个地方进行观察、安全和治理。

如何设置用户级支出限制?

通过将AI Gateway与Cloudflare Access集成,每个请求都带有用户身份,因此可以设置每个用户的支出限制。当用户达到限制时,可以阻止进一步请求或回退到更便宜的模型。

User Insights的异常检测为什么使用p95和p99?

使用p95作为用户个人基线,可以反映该用户通常的会话成本;使用账户级p99作为绝对上限,确保异常不仅对单个用户是突变的,而且在组织范围内也属于最昂贵的1%会话。这样能过滤掉小金额波动,聚焦于真正值得关注的异常。

User Insights能区分正常行为和异常行为吗?

能。它通过为每个账户建立行为基线,将每个会话与基线比较,识别出偏离正常模式的账户。但User Insights不判断意图,也不阻止任何人,而是将异常账户展示给管理员,由管理员进一步调查。

AI Gateway的未来计划是什么?

未来计划包括任务型智能路由,根据请求内容自动选择性价比最高的模型;以及提示分类,将请求分类为编码、写作等类别,帮助组织了解AI的使用情况,并区分业务使用和个人使用。

如何开始使用User Insights?

User Insights已对所有AI Gateway客户免费开放,无需额外设置。只要将流量通过AI Gateway,即可在仪表板中看到该视图。建议将AI Gateway放在Cloudflare Access后面,以获得身份信息,并先以监控模式运行以了解基线。

🏷️

标签

➡️

继续阅读