The Verge
·
Cloudflare将默认阻止AI爬虫
内容提要
Cloudflare宣布默认阻止已知AI爬虫，以保护原创内容。新域名所有者可选择允许爬虫访问，并可实施“按爬取付费”计划，确保AI公司合法使用高质量内容。
关键要点
-
Cloudflare宣布默认阻止已知AI爬虫，以保护原创内容。
-
新域名所有者可以选择允许AI爬虫访问，并可实施“按爬取付费”计划。
-
“按爬取付费”计划允许出版商为AI爬虫设置访问内容的价格。
-
Cloudflare早在2023年就开始帮助网站阻止AI爬虫，并允许网站阻止所有AI机器人。
-
多个主要出版商和在线平台支持Cloudflare的新AI爬虫限制。
-
Cloudflare与AI公司合作，帮助验证爬虫并明确其目的。
-
Cloudflare CEO表示，保护原创内容是互联网的重要使命。
延伸解读
保护原创内容的重要性
Cloudflare的这一举措强调了保护原创内容在互联网生态中的重要性。随着AI技术的发展，内容创作者面临着被无授权爬虫抓取的风险，这可能影响他们的收入和创作动力。通过阻止AI爬虫，Cloudflare希望为内容创作者提供更安全的环境，确保他们的劳动得到应有的尊重和补偿。
按爬取付费计划的潜在影响
Cloudflare推出的“按爬取付费”计划为出版商提供了新的收入来源。通过设定访问价格，出版商可以更好地控制内容的使用，确保AI公司在使用其内容时给予合理的补偿。这一机制可能会促使更多出版商参与到内容保护中，同时也可能影响AI公司的内容获取策略。
AI爬虫的未来与挑战
随着AI技术的不断进步，爬虫的使用将变得更加普遍。Cloudflare的措施虽然能有效阻止已知的AI爬虫，但未来可能会出现新的爬虫技术，挑战现有的防护措施。网站所有者需要持续关注爬虫的动态，并根据实际情况调整防护策略，以保护自己的内容不被滥用。
延伸问答
Cloudflare为什么要阻止AI爬虫？
Cloudflare阻止AI爬虫是为了保护原创内容，防止它们在没有许可或补偿的情况下访问内容。
新域名所有者如何处理AI爬虫？
新域名所有者可以选择允许AI爬虫访问，并可实施“按爬取付费”计划。
什么是“按爬取付费”计划？
“按爬取付费”计划允许出版商为AI爬虫设置访问内容的价格，AI公司可以选择注册或拒绝。
Cloudflare是如何帮助网站阻止AI爬虫的？
Cloudflare允许网站阻止所有AI爬虫，并通过比较已知AI爬虫列表来识别需要阻止的爬虫。
哪些出版商支持Cloudflare的新AI爬虫限制？
多个主要出版商和在线平台，如美联社、The Atlantic、Fortune、Stack Overflow和Quora，支持Cloudflare的新限制。
Cloudflare的CEO对保护原创内容有什么看法？
Cloudflare的CEO表示，保护原创内容是互联网的重要使命，AI爬虫在没有限制地抓取内容。
