知名维修网站iFixit抱怨Claude发起DDoS攻击 1天访问数百万次抓取数据训练AI
原文中文,约1300字,阅读约需4分钟。
📝
内容提要
人工智能开发商Anthropic的爬虫Claude对iFixit发起DDoS攻击,给网站造成压力。网站建议屏蔽ClaudeBot爬虫。
❓
Q&A
ClaudeBot对iFixit造成了什么影响?
ClaudeBot在24小时内对iFixit进行了超过一百万次访问,消耗了大量的服务器CPU和网络带宽,给网站造成了巨大的压力。
iFixit是如何应对ClaudeBot的抓取行为的?
iFixit建议网站管理员通过更新robots.txt文件和Nginx配置来屏蔽ClaudeBot爬虫,以保护服务器资源。
Anthropic对iFixit的抱怨有什么回应?
Anthropic表示其抓取不应具有侵扰性,目标是尊重抓取延迟,并未对此表示道歉。
为什么iFixit不希望ClaudeBot抓取其内容?
iFixit担心未经允许的抓取会导致服务器瘫痪,因为他们拥有数百万个链接和维修指南。
ClaudeBot的抓取频率有多高?
ClaudeBot每分钟对iFixit发起数以千计的访问,造成了严重的服务器负担。
如何在网站上屏蔽ClaudeBot爬虫?
网站管理员可以在robots.txt文件中添加User-agent: ClaudeBot和Disallow: /来屏蔽ClaudeBot。
🏷️