AI智能体疯狂访问网站却不带来真实流量 Cloudflare首席执行官警告网站成本上涨
内容提要
Cloudflare首席执行官马修·普林斯警告，AI智能体代替用户浏览网站会消耗服务器和带宽，却可能不带来真实访客、广告或订阅收入。例如智能体读取上千家餐厅网站，用户只选一家，其余网站承担成本却无收益。Cloudflare正探索按抓取或使用内容向AI服务收费，并与OpenAI合作减少重复抓取，帮助网站弥补成本。
延伸解读
智能体访问的成本错配
文章指出，AI智能体代替用户浏览网站时，会消耗服务器和带宽资源，但最终用户可能只选择一家服务，导致其余网站承担成本却无收益。例如智能体读取上千家餐厅网站，用户只选一家，其他999家网站的资源消耗无法转化为顾客。新闻和内容网站也面临类似问题：智能体读取文章后生成摘要，用户直接在AI界面获得答案，网站失去访问、广告或订阅机会。这种成本与收益的错配正在改变互联网原有商业模式。
Cloudflare的两种应对思路
Cloudflare提出两种解决方案。一是提高抓取效率，例如与OpenAI合作，在网页内容变化时提供提示，减少对未变化页面的重复抓取，从而降低网站和AI服务商的资源消耗。二是推动付费机制，让AI服务向网站等内容提供商支付费用。网站可根据不同场景设置策略，例如对查找资料的智能体收费，而对帮助用户购买或预订的智能体则可能免费。目前Cloudflare已将按抓取和按使用量收费作为产品方向之一。
对网站运营者的启示
文章提醒网站运营者关注AI智能体访问带来的成本压力。智能体访问可能不带来真实访客、广告展示或订阅收入，却消耗服务器和带宽资源。Cloudflare首席执行官马修普林斯认为，网站运营者和AI服务提供商需要探索新的成本分担方式，避免未来越来越多网站被迫关闭。网站可关注Cloudflare提供的识别、限制和管理AI爬虫的工具，以及按抓取或使用内容收费的机制，根据自身内容类型和业务场景制定应对策略。
Q&A
AI智能体访问网站为什么不给网站带来真实流量？
AI智能体代替用户浏览网站并读取内容，直接向用户提供答案或推荐，用户无需点击进入网站，因此网站没有获得实际访客、广告展示或订阅收入。
Cloudflare首席执行官警告网站面临什么新成本压力？
AI智能体大量访问网站会消耗服务器和带宽资源，但网站可能得不到真实用户和收益，导致运营成本增加。
AI智能体推荐餐厅的例子说明了什么问题？
智能体可能访问上千家餐厅网站读取菜单，但用户只选择一家，其余网站承担了请求处理和带宽成本却无法获得顾客，体现了成本与收益的不匹配。
Cloudflare提出了哪些解决方案来应对AI智能体访问带来的成本问题？
Cloudflare提出两种方案：一是提高抓取效率，例如与OpenAI合作在网页内容变化时提示，减少重复抓取；二是推动付费机制，让AI服务按抓取或使用内容向网站付费。
Cloudflare与OpenAI合作的具体内容是什么？
Cloudflare与OpenAI合作，在网页内容发生变化时提供提示，减少对未变化页面的重复抓取，从而降低网站和AI服务商的资源消耗。
网站如何根据AI智能体的类型设置不同的收费策略？
网站可以根据不同场景设置策略，例如对于代表用户查找资料的智能体，网站可以设置收费获取内容；而对于帮助用户购买商品或预订服务的智能体，可能采取不同策略。
