/cdn.vox-cdn.com/uploads/chorus_asset/file/25469772/STK269_ANTHROPIC_A.jpg)
The Verge
·
Anthropic的爬虫忽视了网站的反AI抓取政策
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Anthropic的ClaudeBot在24小时内对iFixit网站进行了近百万次访问，违反了使用条款。iFixit首席执行官表示，爬虫未经许可使用其内容，并占用开发资源。尽管iFixit已在robots.txt中添加了爬取延迟，Anthropic仍表示只能通过该文件阻止爬虫。其他网站也报告了类似问题，表明ClaudeBot的爬取行为并非新现象。
🎯
关键要点
-
Anthropic的ClaudeBot在24小时内对iFixit网站进行了近百万次访问，违反了使用条款。
-
iFixit首席执行官Kyle Wiens表示，爬虫未经许可使用其内容，并占用开发资源。
-
iFixit的使用条款明确禁止在未获得书面许可的情况下复制或分发其内容，包括用于训练机器学习或AI模型。
-
尽管iFixit已在robots.txt中添加了爬取延迟，Anthropic仍表示只能通过该文件阻止爬虫。
-
其他网站也报告了类似问题，表明ClaudeBot的爬取行为并非新现象。
❓
延伸问答
Anthropic的ClaudeBot对iFixit网站进行了多少次访问？
ClaudeBot在24小时内对iFixit网站进行了近百万次访问。
iFixit的首席执行官对ClaudeBot的爬取行为有什么看法？
iFixit首席执行官Kyle Wiens表示，爬虫未经许可使用其内容，并占用开发资源。
iFixit的使用条款对内容的使用有什么规定？
iFixit的使用条款明确禁止在未获得书面许可的情况下复制或分发其内容，包括用于训练机器学习或AI模型。
Anthropic如何回应iFixit对爬虫行为的质疑？
Anthropic表示其爬虫只能通过robots.txt文件阻止，并链接到FAQ页面。
其他网站是否也遇到类似的爬虫问题？
是的，其他网站如Read the Docs和Freelancer.com也报告了类似的爬虫问题。
robots.txt文件在阻止爬虫方面的有效性如何？
虽然robots.txt文件是阻止爬虫的常用方法，但它并不提供网站所有者灵活性来指定允许或禁止的爬取行为。
🏷️
