蓝点网
·
Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
Cloudflare 推出 AI 审计功能，帮助网站管理员识别和管理 AI 爬虫活动。该工具可分析爬虫来源、时间和频次，并允许屏蔽特定或所有 AI 爬虫。未来计划推出交易市场，网站管理员可设置内容抓取价格，AI 公司可付费获取。目前功能在测试阶段。
🎯
关键要点
- Cloudflare 推出 AI 审计功能，帮助网站管理员识别和管理 AI 爬虫活动。
- 该工具分析爬虫来源、时间、频次等信息，允许屏蔽特定或所有 AI 爬虫。
- 功能目前处于测试阶段，适用于所有网站，包括免费托管的网站。
- 网站管理员可以检查哪些 AI 公司抓取了他们的内容，并选择禁止抓取。
- AI 审计工具允许网站管理员分类审计和屏蔽爬虫，提供更灵活的管理方式。
- Cloudflare 能识别多家知名 AI 开发商的爬虫，如 OpenAI、Meta、字节跳动等。
- 网站管理员可以根据爬虫的抓取频次进行封禁，以保护服务器带宽和用户体验。
- Cloudflare 计划在明年推出交易市场，网站管理员可设置内容抓取价格，AI 公司可付费获取抓取权限。
- 使用 AI 审计功能的步骤包括登录 Cloudflare 控制台并选择特定网站。
➡️
