量子位
·
Claude团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
Claude团队违反规则，爬取iFixit网站数据100万次，引发公愤。iFixit尽力阻止，但数据仍被抓取。Anthropic公司回应旧爬虫已停用，但未回应ClaudeBot是否遵守防爬虫规则。建议创作者将内容转移到付费区域以防止无限制抓取。
🎯
关键要点
-
Claude团队在24小时内访问iFixit网站100万次，违反了禁止爬取的规则。
-
iFixit尽力防止爬虫抓取，但ClaudeBot仍然成功抓取了大量数据。
-
iFixit的CEO对ClaudeBot的行为表示愤怒，称其未经许可盗取数据。
-
iFixit修改了robots.txt文件以阻止ClaudeBot的访问，但Anthropic未明确回应ClaudeBot是否遵守规则。
-
Anthropic曾使用过的旧爬虫已停止使用，但未说明当前爬虫的行为。
-
Anthropic在过去也曾因爬取数据而受到指责，显示出其爬虫行为的惯性。
-
有建议认为创作者应将内容转移到付费区域，以防止无限制抓取。
❓
延伸问答
Claude团队为什么受到公众的愤怒？
因为Claude团队在24小时内访问iFixit网站100万次，违反了禁止爬取的规则，导致数据被盗取。
iFixit是如何尝试阻止ClaudeBot的？
iFixit修改了robots.txt文件以阻止ClaudeBot的访问，并曾成功阻止其他两个旧爬虫。
Anthropic公司对爬虫行为的回应是什么？
Anthropic承认旧爬虫已停止使用，但未明确回应当前的ClaudeBot是否遵守防爬虫规则。
iFixit的CEO对ClaudeBot的行为有什么看法？
iFixit的CEO表示ClaudeBot未经许可盗取数据，并对其行为表示愤怒。
有哪些建议可以防止数据被爬虫抓取？
建议创作者将内容转移到付费区域，以防止无限制抓取。
ClaudeBot的爬取行为对iFixit造成了什么影响？
ClaudeBot的爬取行为导致iFixit的服务器资源被占用，影响了网站的正常运行。
➡️
