科技爱好者周刊（第 343 期）：如何阻止 AI 爬虫
内容提要
本周科技周刊讨论了AI爬虫对网站的影响，SourceHut站长抱怨爬虫导致服务器压力。介绍了Anubis工具，通过工作量证明机制阻止爬虫访问，需计算哈希值，消耗资源。科技动态包括太空挖矿机器人和英国夜空云彩现象。
关键要点
-
AI爬虫对网站造成严重压力，SourceHut站长抱怨服务器无法承受。
-
爬虫不遵守robots.txt文件，频繁抓取数据，影响服务稳定性。
-
介绍Anubis工具，通过工作量证明机制阻止爬虫访问，需计算哈希值。
-
Anubis的工作原理是通过计算哈希值消耗爬虫的资源，减少其访问。
-
科技动态包括太空挖矿机器人和英国夜空云彩现象。
-
中国矿业大学研发太空挖矿机器人，英国发现螺旋状云是火箭尾气。
-
科学家提出生命起源地可能是封闭的大型碳酸钠湖泊。
-
盈通公司推出有香味的GPU，运行时散热风扇释放香味。
-
Cloudflare统计显示41%的互联网登录使用泄漏的密码。
-
中国睡眠研究会统计2025年中国人夜间平均睡眠6.85小时。
-
研究表明限制进食时间有助于肥胖者减肥和改善健康。
延伸解读
AI爬虫的影响与行业反应
AI爬虫对网站的影响日益严重，尤其是对小型服务提供商如SourceHut造成了巨大的压力。站长们普遍反映，爬虫的频繁访问不仅导致服务器负担加重，还可能影响用户体验和服务的稳定性。这种现象引发了整个行业的关注，许多站长开始寻求有效的解决方案。
Anubis工具的工作原理
Anubis工具通过工作量证明机制有效阻止爬虫访问。用户在访问网站时需进行复杂的哈希计算，这一过程虽然耗时，但能显著减少爬虫的访问量。尽管对真实用户体验有一定影响，但相比于爬虫造成的服务中断，Anubis提供了一种可行的防护措施。
爬虫与DDoS攻击的比较
AI爬虫的行为与DDoS攻击相似，都是通过大量请求对目标网站施加压力。不同的是，爬虫通常伪装成正常用户，难以被传统防护措施识别。这使得网站管理员在防护时需要采取更为复杂的策略，如使用Anubis等工具来应对这一新型威胁。
延伸问答
AI爬虫对网站造成了什么影响？
AI爬虫对网站造成了严重的服务器压力，导致服务中断，影响了网站的稳定性。
Anubis工具是如何阻止爬虫的？
Anubis工具通过工作量证明机制，要求爬虫计算哈希值，消耗其资源，从而阻止其访问。
为什么爬虫不遵守robots.txt文件？
爬虫通常不遵守robots.txt文件，频繁抓取数据，伪装成真实用户，难以有效拦截。
使用Cloudflare可以解决哪些问题？
使用Cloudflare可以帮助网站挡掉AI爬虫，减轻服务器压力，提升服务稳定性。
Anubis的工作量证明机制具体是怎样的？
Anubis的工作量证明机制要求用户计算一个哈希值，直到满足特定条件，才能访问目标网站。
AI爬虫的流量占比如何？
有站长报告称，经过Anubis验证后，97%的流量可能都是机器人，显示AI爬虫的数量非常庞大。
