内容提要
该文章介绍Anubis,一种用于保护网站免受AI公司大规模数据抓取的解决方案。它采用类似Hashcash的工作量证明机制,使批量抓取成本高昂,同时尽量不影响普通用户。目前仍需启用JavaScript,未来计划通过指纹识别无头浏览器来优化。
延伸解读
工作原理与成本权衡
Anubis采用类似Hashcash的工作量证明机制,为每个访问请求增加少量计算负担。对普通用户而言,这种开销几乎可以忽略;但对大规模抓取者来说,累积成本会显著提高,从而抑制批量抓取行为。这是一种通过经济成本而非完全阻止来限制AI爬虫的策略。
当前限制与未来方向
目前Anubis依赖现代JavaScript特性,因此用户必须启用JavaScript才能通过验证,且与JShelter等安全插件不兼容。开发者计划未来通过指纹识别无头浏览器(如字体渲染差异)来识别合法用户,从而免去验证步骤。但无JavaScript的解决方案仍在开发中,短期内无法实现。
对网站运营者的启示
Anubis是应对AI公司大规模抓取导致服务器过载的临时方案。它通过提高抓取成本来缓解资源压力,但并非完美:可能影响部分用户访问,且依赖JavaScript。网站管理员需权衡保护服务器与用户体验,并关注后续优化进展。
Q&A
Anubis 是什么?它主要解决什么问题?
Anubis 是一种用于保护网站免受 AI 公司大规模数据抓取的解决方案。它通过工作量证明机制增加批量抓取的成本,从而减少抓取对网站服务器造成的压力,防止网站因被过度抓取而宕机。
Anubis 的工作原理是什么?
Anubis 采用类似 Hashcash 的工作量证明机制。对于普通用户,额外负载可以忽略不计;但对于大规模抓取者,累积的计算成本会显著增加,使抓取变得昂贵,从而抑制滥用行为。
Anubis 对普通用户有什么影响?
Anubis 对普通用户的影响很小,因为工作量证明的额外负载在个人规模下可以忽略不计。但用户需要启用 JavaScript 才能通过挑战,且某些插件(如 JShelter)可能会干扰其运行。
为什么 Anubis 需要启用 JavaScript?
因为 Anubis 依赖现代 JavaScript 功能来实现工作量证明挑战。AI 公司改变了网站托管的社交契约,导致必须采用这种措施,而无 JavaScript 的解决方案仍在开发中。
Anubis 的未来计划是什么?
未来计划通过指纹识别无头浏览器(例如通过字体渲染方式)来识别合法用户,从而避免向更可能是真实用户的访问者展示工作量证明挑战页面。
Anubis 与 Hashcash 有什么关系?
Anubis 采用类似 Hashcash 的工作量证明方案。Hashcash 最初是为了减少垃圾邮件而提出的,Anubis 借鉴了这一思路,将其应用于阻止 AI 公司的大规模数据抓取。