The Cloudflare Blog
·
通过Cloudflare管理的robots.txt和对盈利内容的阻止，控制AI训练中的内容使用
💡
原文英文，约3300词，阅读约需12分钟。
📝
内容提要
Cloudflare为网站所有者提供了两种新工具，以控制AI爬虫对其内容的访问，用户可以选择让Cloudflare管理robots.txt文件，或仅在广告部分阻止AI爬虫。这些措施旨在保护内容创作者的权益，防止其内容被用于AI模型训练。
🎯
关键要点
- Cloudflare为网站所有者提供了两种新工具，以控制AI爬虫对其内容的访问。
- 用户可以选择让Cloudflare管理robots.txt文件，或仅在广告部分阻止AI爬虫。
- 新一代AI爬虫与传统搜索爬虫的关系不再是互惠的。
- AI训练爬虫使用网站数据直接为其客户提供服务，通常不会带回流量。
- 大多数网站没有使用robots.txt文件，只有约37%的前10,000个域名拥有该文件。
- Cloudflare在2024年推出了一键阻止所有AI爬虫的功能，已有超过100万客户启用。
- Cloudflare的新管理robots.txt功能可以自动更新网站的robots.txt文件，保护内容创作者的权益。
- 网站所有者可以选择仅在显示广告的页面上阻止AI爬虫。
- Cloudflare通过分析客户流量来识别和分类AI爬虫，帮助网站所有者管理爬虫活动。
- Cloudflare的管理robots.txt功能将自动更新，以适应不断变化的AI爬虫环境。
❓
延伸问答
Cloudflare提供了哪些工具来控制AI爬虫的访问？
Cloudflare提供了两种工具：一是管理robots.txt文件，二是仅在广告部分阻止AI爬虫。
为什么网站所有者需要管理AI爬虫的访问？
网站所有者需要管理AI爬虫以保护内容创作者的权益，防止内容被用于AI模型训练而不获益。
Cloudflare的robots.txt管理功能如何工作？
Cloudflare的robots.txt管理功能会自动更新网站的robots.txt文件，以指示AI爬虫不使用网站内容进行训练。
AI爬虫与传统搜索爬虫有什么不同？
AI爬虫与传统搜索爬虫的关系不再是互惠的，AI爬虫通常不会带回流量，而是直接为其客户提供服务。
如何启用Cloudflare的AI爬虫阻止功能？
用户可以在Cloudflare仪表板的安全设置中选择启用阻止AI爬虫的功能。
Cloudflare如何识别和分类AI爬虫？
Cloudflare通过分析客户流量和用户提交的报告来识别和分类AI爬虫。
🏷️
标签
➡️
