The Cloudflare Blog
·
爬虫与点击之间的差距：Cloudflare关于AI机器人、训练和推荐的数据
内容提要
到2025年，生成式AI正在改变互联网的使用方式，导致搜索引擎流量减少和新闻网站流量下降。AI爬虫活动激增，相关爬虫占比达80%，而谷歌推荐流量显著下降，内容创作者面临流量与收益的矛盾。
关键要点
-
到2025年，生成式AI正在改变互联网的使用方式，导致搜索引擎流量减少和新闻网站流量下降。
-
AI爬虫活动激增，相关爬虫占比达80%，而谷歌推荐流量显著下降。
-
内容创作者面临流量与收益的矛盾，AI爬虫带来大量虚假点击，但真实读者数量减少。
-
Cloudflare数据显示，2025年上半年爬虫活动增长24%，但7月增速降至4%。
-
训练相关的爬虫活动占据了近80%的AI爬虫流量，较去年增长。
-
谷歌对新闻网站的推荐流量在2025年3月下降约9%。
-
AI概述的推出与谷歌推荐流量下降存在关联，AI模式的扩展影响了流量分配。
-
AI爬虫的市场份额变化明显，OpenAI的GPTBot和ClaudeBot的流量份额上升，而字节跳动的Bytespider下降。
-
爬虫与推荐流量之间的不平衡加剧，内容创作者面临被动提供内容的困境。
-
未来的网络可能会出现新的平衡，或者AI将开放网络转变为单向的训练集。
延伸解读
AI爬虫的崛起与内容创作者的困境
随着AI爬虫活动的激增，内容创作者面临着流量与收益的矛盾。虽然爬虫带来了大量的虚假点击，但真实读者的数量却在减少，这使得广告收入和订阅转化率受到影响。创作者需要关注如何在这种新环境中调整策略，以确保内容的可见性和盈利能力。
谷歌推荐流量的下降趋势
谷歌对新闻网站的推荐流量显著下降，尤其是在2025年3月，下降幅度达到9%。这一变化与谷歌推出AI概述功能密切相关，表明AI生成的内容正在取代传统搜索结果。内容创作者应关注这一趋势，以便及时调整内容策略，适应新的流量来源。
爬虫与推荐流量的不平衡
当前，AI爬虫的活动与用户点击之间存在明显的不平衡。例如，Anthropic的爬虫在每个用户点击的情况下，爬取了近38,000个页面。这种不平衡不仅影响了内容创作者的流量，还可能导致创作者对内容生产的积极性下降。
延伸问答
生成式AI如何改变互联网的使用方式？
生成式AI导致搜索引擎流量减少，内容创作者面临流量与收益的矛盾。
AI爬虫的活动占比是多少？
AI爬虫活动占比达80%，其中训练相关的爬虫活动占据了大部分。
谷歌推荐流量在2025年发生了什么变化？
谷歌对新闻网站的推荐流量在2025年3月下降约9%。
内容创作者面临哪些挑战？
内容创作者面临流量减少和收益下降的矛盾，AI爬虫带来虚假点击但真实读者减少。
AI爬虫的市场份额变化如何？
OpenAI的GPTBot和ClaudeBot的流量份额上升，而字节跳动的Bytespider下降。
未来网络可能出现什么样的变化？
未来可能会出现新的平衡，或者AI将开放网络转变为单向的训练集。
