Claude团队引众怒，为爬数据不择手段，给爬虫改名字无视禁止规则
内容提要
Claude团队违反规则，爬取iFixit网站数据100万次，引发公愤。iFixit尽力阻止，但数据仍被抓取。Anthropic公司回应旧爬虫已停用，但未回应ClaudeBot是否遵守防爬虫规则。建议创作者将内容转移到付费区域以防止无限制抓取。
延伸解读
爬虫更名规避封禁的隐患
iFixit成功阻止了Anthropic的旧爬虫ANTHROPIC-AI和CLAUDE-WEB，但新爬虫ClaudeBot却未被阻挡。Anthropic承认旧爬虫已停用，却回避了ClaudeBot是否遵守robots.txt的问题。这种通过更换爬虫名称来绕过封锁的做法，使得网站基于名称的防御措施失效，增加了防护难度。
robots.txt协议的实际效力
iFixit在robots.txt中明确禁止爬取，但ClaudeBot仍以每分钟数千次请求访问，一天内访问近百万次，消耗10 TB流量。这显示robots.txt作为行业自律协议，对不遵守的AI公司缺乏强制力。网站所有者需意识到，仅依赖robots.txt可能无法阻止恶意爬虫。
AI爬虫的普遍性与应对困境
Anthropic并非个例，OpenAI、Perplexity等公司的爬虫也被指责忽略robots.txt。例如，Linux Mint论坛曾因ClaudeBot访问而崩溃，Perplexity则被《福布斯》谴责抄袭。这表明AI公司为获取训练数据，普遍存在过度爬取行为，而网站防御手段有限，创作者面临数据被无偿抓取的困境。
转向付费模式的可行性
面对无限制抓取，有人建议创作者将内容转移到付费区域。iFixit通过设置虚假信息追踪，发现数据被Claude和OpenAI爬取。付费墙虽能增加抓取成本，但AI公司仍可能通过其他途径获取数据。这一建议反映了当前技术下，创作者保护内容的无奈之举，其有效性尚待验证。
Q&A
Claude团队为什么受到公众的愤怒？
因为Claude团队在24小时内访问iFixit网站100万次，违反了禁止爬取的规则，导致数据被盗取。
iFixit是如何尝试阻止ClaudeBot的？
iFixit修改了robots.txt文件以阻止ClaudeBot的访问，并曾成功阻止其他两个旧爬虫。
Anthropic公司对爬虫行为的回应是什么？
Anthropic承认旧爬虫已停止使用，但未明确回应当前的ClaudeBot是否遵守防爬虫规则。
iFixit的CEO对ClaudeBot的行为有什么看法？
iFixit的CEO表示ClaudeBot未经许可盗取数据，并对其行为表示愤怒。
有哪些建议可以防止数据被爬虫抓取？
建议创作者将内容转移到付费区域，以防止无限制抓取。
ClaudeBot的爬取行为对iFixit造成了什么影响？
ClaudeBot的爬取行为导致iFixit的服务器资源被占用，影响了网站的正常运行。
