量子位
·
Claude团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
Claude团队违反规则，爬取iFixit网站数据100万次，引发公愤。iFixit尽力阻止，但数据仍被抓取。Anthropic公司回应旧爬虫已停用，但未回应ClaudeBot是否遵守防爬虫规则。建议创作者将内容转移到付费区域以防止无限制抓取。
🎯
关键要点
- Claude团队在24小时内访问iFixit网站100万次，违反了禁止爬取的规则。
- iFixit尽力防止爬虫抓取，但ClaudeBot仍然成功抓取了大量数据。
- iFixit的CEO对ClaudeBot的行为表示愤怒，称其未经许可盗取数据。
- iFixit修改了robots.txt文件以阻止ClaudeBot的访问，但Anthropic未明确回应ClaudeBot是否遵守规则。
- Anthropic曾使用过的旧爬虫已停止使用，但未说明当前爬虫的行为。
- Anthropic在过去也曾因爬取数据而受到指责，显示出其爬虫行为的惯性。
- 有建议认为创作者应将内容转移到付费区域，以防止无限制抓取。
➡️
