内容提要
该文章介绍Anubis,一种用于保护网站免受AI公司大规模抓取的工具。它采用工作量证明机制,类似Hashcash,增加抓取成本,同时不影响普通用户。Anubis是临时方案,未来将改进浏览器指纹识别,以减少对合法用户的干扰。
延伸解读
工作量证明的代价与权衡
Anubis采用类似Hashcash的工作量证明机制,通过增加计算成本来抑制大规模抓取。对普通用户而言,单次访问的额外负载可忽略,但AI公司批量抓取时成本会显著累积。这种设计本质上是用访问者的计算资源换取服务器稳定,但代价是要求用户启用JavaScript,且可能被JShelter等安全插件拦截,导致部分合法用户无法访问。
临时方案与未来方向
文章明确指出Anubis是占位方案,未来计划通过浏览器指纹识别(如字体渲染方式)来区分无头浏览器与真实用户,从而避免向合法用户展示挑战页面。这意味着当前方案并非最终形态,网站管理员需关注后续更新,而用户可能在未来获得更流畅的访问体验。
AI抓取对网站生态的影响
文章提到AI公司的大规模抓取已导致网站宕机,使资源对所有人不可用,并称这改变了网站托管的社会契约。Anubis的部署反映了网站运营者应对AI爬虫的无奈之举,也提示读者:在AI数据需求激增的背景下,网站防护措施可能日益严格,用户需适应更多验证环节。
Q&A
Anubis是什么?它有什么作用?
Anubis是一种用于保护网站免受AI公司大规模抓取的工具。它通过工作量证明机制增加抓取成本,从而减少抓取行为对网站造成的负担和停机时间。
Anubis采用什么技术原理来阻止AI抓取?
Anubis采用工作量证明(Proof-of-Work)机制,类似于Hashcash,用于减少垃圾邮件。它要求客户端完成一定的计算任务,对普通用户影响很小,但对大规模抓取者来说,成本会显著增加。
Anubis对普通用户有什么影响?
对普通用户来说,额外的负载可以忽略不计,因此影响很小。但用户需要启用JavaScript才能通过挑战,且需要禁用JShelter等可能禁用现代JavaScript功能的插件。
为什么Anubis需要用户启用JavaScript?
因为AI公司改变了网站托管的社交契约,Anubis必须使用现代JavaScript功能来实施挑战。目前无JavaScript的解决方案仍在开发中。
Anubis是永久解决方案吗?未来有什么改进计划?
Anubis是临时解决方案,未来计划改进浏览器指纹识别技术,特别是识别无头浏览器(如通过字体渲染方式),以便对更可能是合法用户的访问者不显示挑战页面。
如果Anubis的JavaScript加载失败,用户应该怎么办?
如果Anubis无法加载其JavaScript,可能是服务器过载,用户应重新加载页面重试。