互联网有了第二类受众
内容提要
Cloudflare指出，AI代理流量已占互联网流量过半，但不为广告或订阅付费，导致网站收入下降、成本上升。为此，Cloudflare推出区分搜索、代理与训练的爬虫控制，并测试按使用付费和货币化网关，让代理按使用付费，帮助网站从AI流量中获利。
延伸解读
AI代理流量激增，网站收入模式受冲击
文章指出，AI代理流量已占互联网流量过半，且不产生广告或订阅收入。Cloudflare数据显示，过去一年AI代理请求增长超1700%，部分行业人类流量下降高达40%。这意味着网站带宽和计算成本上升，而传统“被搜索到即能变现”的模式失效。网站需重新思考如何从非人类流量中获取价值，否则可能面临收入持续下滑。
区分爬虫类型，赋予网站控制权
Cloudflare将爬虫控制细分为搜索、代理和训练三类，并推出Disallow AI Training，允许网站阻止内容用于AI训练而不影响搜索索引。此前，网站只能一刀切屏蔽所有AI爬虫，可能误伤带来客户的代理流量。新控制让网站能根据自身商业模式（如广告或订阅）灵活设置规则，避免被无偿利用。
按使用付费与货币化网关：让代理为内容买单
针对直接授权难以覆盖大多数网站的问题，Cloudflare推出Pay Per Use和Monetization Gateway。Pay Per Use在内容被实际使用时才收费，买家需验证并报告使用情况；Monetization Gateway则通过HTTP 402和x402协议，让代理按请求、查询或令牌直接付费。两者均处于测试阶段，旨在为网站开辟新的收入来源，同时为代理提供合法访问途径。
开放标准与效率优化：构建可持续的代理互联网
Cloudflare强调其解决方案基于x402、Web Bot Auth等开放标准，避免少数公司垄断代理的发现、身份和支付。同时，通过Markdown for Agents、WebMCP等工具优化网站，减少代理爬取带来的带宽浪费。文章认为，只有让网站能设定条款并获得报酬，同时降低无效流量成本，开放网络才能在新的流量格局下持续运转。
Q&A
为什么说互联网现在有了第二类受众？
因为AI代理流量已占互联网流量过半，这些代理代表人类执行任务，但不看广告、不付费，形成了与人类受众不同的新受众群体。
AI代理流量增长有多快？
过去一年，Cloudflare网络上AI代理的每日请求增长了超过1700%，2026年首次超过一半的互联网流量不是人类。
网站如何区分搜索、代理和训练的爬虫？
Cloudflare在2025年7月将单一的“阻止AI机器人”开关替换为独立的搜索、代理和训练控制，所有计划（包括免费版）均可使用。
什么是按使用付费（Pay Per Use）？
按使用付费是一种让网站从AI使用中获利的模式：不按爬取收费，而是在内容被实际使用时付费。买家是经过验证的爬虫，定义使用方式并报告使用情况，Cloudflare验证后向买家收费并支付给发布者。
货币化网关（Monetization Gateway）如何工作？
货币化网关允许美国Cloudflare客户对通过其网络的任何内容定价。当规则匹配时，返回HTTP 402 Payment Required，代理通过x402协议直接向卖家付款。可按请求、查询或令牌定价。
AI代理流量对网站收入有什么影响？
AI代理流量导致网站收入下降、成本上升。因为代理不点击广告、不订阅，但消耗带宽和计算资源。一些被大量爬取的类别（如零售、软件、IT服务、金融服务）的人类流量在不到一年内下降了40%。
