The Cloudflare Blog
·
从Googlebot到GPTBot：2025年谁在爬取您的网站
💡
原文英文，约2800词，阅读约需10分钟。
📝
内容提要
网络爬虫自1993年起存在，随着AI的发展，其角色变得复杂。爬虫分为“好”与“坏”，约30%的网络流量来自爬虫。AI爬虫如GPTBot迅速崛起，数据收集用于训练AI模型，带来内容权利和隐私问题。网站通过robots.txt管理爬虫访问，AI爬虫的使用日益增加，影响网络内容获取方式。
🎯
关键要点
- 网络爬虫自1993年起存在，随着AI的发展，其角色变得复杂。
- 爬虫分为“好”与“坏”，约30%的网络流量来自爬虫。
- AI爬虫如GPTBot迅速崛起，数据收集用于训练AI模型。
- AI爬虫的使用带来内容权利和隐私问题。
- 网站通过robots.txt管理爬虫访问，部分网站限制或阻止AI爬虫。
- AI爬虫的使用日益增加，影响网络内容获取方式。
- GPTBot在2025年成为主导爬虫，市场份额从5%上升至30%。
- Googlebot在同一时期增长96%，巩固了其市场主导地位。
- AI和搜索爬虫的流量在2025年增长了18%。
- 网站所有者使用robots.txt文件来管理爬虫访问，但效果不一。
- 越来越多的网站转向主动保护措施，如Web应用防火墙。
❓
延伸问答
网络爬虫的主要作用是什么？
网络爬虫的主要作用是索引互联网内容，以便在搜索引擎结果中显示相关网站。
AI爬虫与传统爬虫有什么区别？
AI爬虫主要用于收集数据以训练AI模型，而传统爬虫则主要用于索引网站内容。
GPTBot在2025年的市场份额是多少？
GPTBot在2025年的市场份额从5%上升至30%。
网站如何管理爬虫的访问？
网站可以通过robots.txt文件管理爬虫的访问，设置允许或禁止特定爬虫的规则。
AI爬虫的使用带来了哪些问题？
AI爬虫的使用引发了内容权利和隐私问题，可能导致未经授权的数据使用。
Googlebot在2025年的增长情况如何？
Googlebot在2025年增长了96%，巩固了其市场主导地位。
🏷️
标签
➡️
