/cdn.vox-cdn.com/uploads/chorus_asset/file/25469772/STK269_ANTHROPIC_A.jpg)
Anthropic的爬虫忽视了网站的反AI抓取政策
内容提要
Anthropic的ClaudeBot在24小时内对iFixit网站进行了近百万次访问，违反了使用条款。iFixit首席执行官表示，爬虫未经许可使用其内容，并占用开发资源。尽管iFixit已在robots.txt中添加了爬取延迟，Anthropic仍表示只能通过该文件阻止爬虫。其他网站也报告了类似问题，表明ClaudeBot的爬取行为并非新现象。
延伸解读
robots.txt 的局限性
文章指出，Anthropic 表示其爬虫只能通过 robots.txt 文件阻止，而 iFixit 已添加 crawl-delay 扩展。但 robots.txt 并非强制标准，依赖爬虫自愿遵守，且无法灵活指定哪些内容可抓取。这暴露了网站主在对抗 AI 爬虫时的被动地位，也引发对现有协议有效性的质疑。
对网站运营的实际影响
iFixit 首席执行官 Kyle Wiens 表示，ClaudeBot 的密集访问不仅未经许可使用内容，还占用了开发运维资源。类似情况也出现在 Read the Docs 和 Freelancer.com 等网站，甚至导致 Linux Mint 论坛因爬虫压力而宕机。这表明 AI 爬虫可能对网站基础设施造成实质性负担。
行业应对与争议
许多 AI 公司如 OpenAI 也采用 robots.txt 作为退出机制，但 Perplexity 曾被指完全无视该文件。Reddit 近期也加强了对爬虫的打击。这些案例显示，网站主在保护数据不被用于 AI 训练时，可选手段有限，且不同公司对爬虫政策的遵守程度参差不齐。
Q&A
Anthropic的ClaudeBot对iFixit网站进行了多少次访问？
ClaudeBot在24小时内对iFixit网站进行了近百万次访问。
iFixit的首席执行官对ClaudeBot的爬取行为有什么看法？
iFixit首席执行官Kyle Wiens表示，爬虫未经许可使用其内容，并占用开发资源。
iFixit的使用条款对内容的使用有什么规定？
iFixit的使用条款明确禁止在未获得书面许可的情况下复制或分发其内容，包括用于训练机器学习或AI模型。
Anthropic如何回应iFixit对爬虫行为的质疑？
Anthropic表示其爬虫只能通过robots.txt文件阻止，并链接到FAQ页面。
其他网站是否也遇到类似的爬虫问题？
是的，其他网站如Read the Docs和Freelancer.com也报告了类似的爬虫问题。
robots.txt文件在阻止爬虫方面的有效性如何？
虽然robots.txt文件是阻止爬虫的常用方法，但它并不提供网站所有者灵活性来指定允许或禁止的爬取行为。
