蓝点网
·
Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
Cloudflare 推出 AI 审计功能，帮助网站管理员识别和管理 AI 爬虫活动。该工具可分析爬虫来源、时间和频次，并允许屏蔽特定或所有 AI 爬虫。未来计划推出交易市场，网站管理员可设置内容抓取价格，AI 公司可付费获取。目前功能在测试阶段。
🎯
关键要点
- Cloudflare 推出 AI 审计功能，帮助网站管理员识别和管理 AI 爬虫活动。
- 该工具分析爬虫来源、时间、频次等信息，允许屏蔽特定或所有 AI 爬虫。
- 功能目前处于测试阶段，适用于所有网站，包括免费托管的网站。
- 网站管理员可以检查哪些 AI 公司抓取了他们的内容，并选择禁止抓取。
- AI 审计工具允许网站管理员分类审计和屏蔽爬虫，提供更灵活的管理方式。
- Cloudflare 能识别多家知名 AI 开发商的爬虫，如 OpenAI、Meta、字节跳动等。
- 网站管理员可以根据爬虫的抓取频次进行封禁，以保护服务器带宽和用户体验。
- Cloudflare 计划在明年推出交易市场，网站管理员可设置内容抓取价格，AI 公司可付费获取抓取权限。
- 使用 AI 审计功能的步骤包括登录 Cloudflare 控制台并选择特定网站。
❓
延伸问答
Cloudflare的AI审计功能有什么用途？
Cloudflare的AI审计功能帮助网站管理员识别和管理AI爬虫活动，分析爬虫来源、时间和频次，并允许屏蔽特定或所有AI爬虫。
如何使用Cloudflare的AI审计工具？
使用AI审计工具的步骤包括登录Cloudflare控制台，选择特定网站，然后在左侧导航栏点击AI Audit。
AI审计工具能识别哪些公司的爬虫？
AI审计工具能够识别多家知名AI开发商的爬虫，如OpenAI、Meta、字节跳动、Amazon等。
网站管理员如何屏蔽特定的AI爬虫？
网站管理员可以通过AI审计工具选择禁止特定AI公司的爬虫抓取，或直接屏蔽所有AI爬虫。
Cloudflare未来有什么计划与AI审计功能相关？
Cloudflare计划在明年推出交易市场，网站管理员可以设置内容抓取价格，AI公司可付费获取抓取权限。
AI审计功能对网站管理员有什么好处？
AI审计功能使网站管理员能够监控AI爬虫的抓取活动，保护服务器带宽和用户体验，避免不必要的流量消耗。
➡️
