Cloudflare CEO Matthew Prince 在访谈中表示，机器人流量已超过人类，AI 爬虫正冲击网络商业模式。他主张通过 402 付费协议让内容创作者向 AI 公司收费，并默认屏蔽谷歌 AI 训练爬虫。他还提到公司裁员 20%，用 AI 提升管理效率，认为应奖励真正创造知识的人。

Cloudflare利用其反向代理位置，通过分类AI流量、验证身份（Web Bot Auth）及x402协议在请求时完成支付，实现按次或按使用收费。此举应对机器人流量占多数、传统广告模式失效的挑战，但面临集中化、采用率及定价衡量等局限。

Cloudflare数据显示，机器人流量已超过真实人类流量，达到57.5%。这一增长与AI智能体的快速采用密切相关。尽管机器人流量在HTTP请求中占比更高，但实际消耗的流量仍以人类为主，因人类观看视频等活动消耗更多流量。

Vercel 通过检查请求识别机器人流量，新增了三个维度：机器人名称、类别和验证状态。仪表板显示验证徽章，所有用户可见，Observability Plus 订阅者可免费查询数据。

一家大型金融机构发现其网站出现异常的机器人流量，经过分析发现流量来自谷歌的合法爬虫。调查显示，早期的SEO攻击导致谷歌索引了恶意搜索页面。机构通过更新robots.txt和提交移除请求解决了问题，强调了识别合法爬虫的重要性。

Cloudflare推出了Web Bot Auth签名代理，旨在区分恶意与有益的机器人流量，提升流量管理精确性，便于客户控制网站访问。

电商CEO发现尽管流量和广告效果良好，利润却因机器人流量而下降。预计到2025年，超过70%的网络流量将是自动化的，机器人通过抢购、信用卡测试和虚假流量侵蚀电商利润。传统防护措施已不再有效，Tornix Cyber利用行为AI和自适应指纹技术有效阻止机器人，保障真实用户体验。电商企业需重视安全，以避免更大损失。