知名维修网站iFixit抱怨Claude发起DDoS攻击 1天访问数百万次抓取数据训练AI
内容提要
人工智能开发商Anthropic的爬虫Claude对iFixit发起DDoS攻击，给网站造成压力。网站建议屏蔽ClaudeBot爬虫。
延伸解读
AI爬虫的“DDoS”效应
ClaudeBot在24小时内对iFixit发起百万次访问，每分钟数千次请求，消耗大量CPU和带宽，导致服务器压力激增。这种高频抓取虽非恶意攻击，但效果类似DDoS，可能使网站服务不稳定甚至瘫痪。对于拥有海量页面（如iFixit数百万链接）的网站，爬虫的密集请求会迅速耗尽资源，影响正常用户访问。
内容抓取与版权争议
iFixit指责Anthropic未经付费就窃取内容，并占用其开发运营资源。Anthropic回应称抓取公开数据是行业标准，目标是将干扰降到最低。这反映了AI训练数据获取中常见的矛盾：AI公司依赖公开数据，而内容提供者认为自身权益受损。网站若不愿被无偿抓取，需主动采取技术措施。
屏蔽ClaudeBot的实操建议
文章建议通过robots.txt添加“User-agent: ClaudeBot Disallow: /”来屏蔽，但若爬虫不遵守协议，可在Nginx中用正则匹配ClaudeBot并返回HTTP 444丢弃连接。操作时先更新robots.txt，几天后检查日志，若仍有非robots.txt的抓取记录，则表明爬虫未遵守协议，可实施拦截。
Q&A
ClaudeBot对iFixit造成了什么影响？
ClaudeBot在24小时内对iFixit进行了超过一百万次访问，消耗了大量的服务器CPU和网络带宽，给网站造成了巨大的压力。
iFixit是如何应对ClaudeBot的抓取行为的？
iFixit建议网站管理员通过更新robots.txt文件和Nginx配置来屏蔽ClaudeBot爬虫，以保护服务器资源。
Anthropic对iFixit的抱怨有什么回应？
Anthropic表示其抓取不应具有侵扰性，目标是尊重抓取延迟，并未对此表示道歉。
为什么iFixit不希望ClaudeBot抓取其内容？
iFixit担心未经允许的抓取会导致服务器瘫痪，因为他们拥有数百万个链接和维修指南。
ClaudeBot的抓取频率有多高？
ClaudeBot每分钟对iFixit发起数以千计的访问，造成了严重的服务器负担。
如何在网站上屏蔽ClaudeBot爬虫？
网站管理员可以在robots.txt文件中添加User-agent: ClaudeBot和Disallow: /来屏蔽ClaudeBot。
