The Cloudflare Blog
·
爬虫与点击之间的差距：Cloudflare关于AI机器人、训练和推荐的数据
💡
原文英文，约2300词，阅读约需9分钟。
📝
内容提要
到2025年，生成式AI正在改变互联网的使用方式，导致搜索引擎流量减少和新闻网站流量下降。AI爬虫活动激增，相关爬虫占比达80%，而谷歌推荐流量显著下降，内容创作者面临流量与收益的矛盾。
🎯
关键要点
- 到2025年，生成式AI正在改变互联网的使用方式，导致搜索引擎流量减少和新闻网站流量下降。
- AI爬虫活动激增，相关爬虫占比达80%，而谷歌推荐流量显著下降。
- 内容创作者面临流量与收益的矛盾，AI爬虫带来大量虚假点击，但真实读者数量减少。
- Cloudflare数据显示，2025年上半年爬虫活动增长24%，但7月增速降至4%。
- 训练相关的爬虫活动占据了近80%的AI爬虫流量，较去年增长。
- 谷歌对新闻网站的推荐流量在2025年3月下降约9%。
- AI概述的推出与谷歌推荐流量下降存在关联，AI模式的扩展影响了流量分配。
- AI爬虫的市场份额变化明显，OpenAI的GPTBot和ClaudeBot的流量份额上升，而字节跳动的Bytespider下降。
- 爬虫与推荐流量之间的不平衡加剧，内容创作者面临被动提供内容的困境。
- 未来的网络可能会出现新的平衡，或者AI将开放网络转变为单向的训练集。
➡️
