科技爱好者周刊（第 343 期）：如何阻止 AI 爬虫
💡
原文中文，约6100字，阅读约需15分钟。
📝
内容提要
本周科技周刊讨论了AI爬虫对网站的影响，SourceHut站长抱怨爬虫导致服务器压力。介绍了Anubis工具，通过工作量证明机制阻止爬虫访问，需计算哈希值，消耗资源。科技动态包括太空挖矿机器人和英国夜空云彩现象。
🎯
关键要点
- AI爬虫对网站造成严重压力，SourceHut站长抱怨服务器无法承受。
- 爬虫不遵守robots.txt文件，频繁抓取数据，影响服务稳定性。
- 介绍Anubis工具，通过工作量证明机制阻止爬虫访问，需计算哈希值。
- Anubis的工作原理是通过计算哈希值消耗爬虫的资源，减少其访问。
- 科技动态包括太空挖矿机器人和英国夜空云彩现象。
- 中国矿业大学研发太空挖矿机器人，英国发现螺旋状云是火箭尾气。
- 科学家提出生命起源地可能是封闭的大型碳酸钠湖泊。
- 盈通公司推出有香味的GPU，运行时散热风扇释放香味。
- Cloudflare统计显示41%的互联网登录使用泄漏的密码。
- 中国睡眠研究会统计2025年中国人夜间平均睡眠6.85小时。
- 研究表明限制进食时间有助于肥胖者减肥和改善健康。
❓
延伸问答
AI爬虫对网站造成了什么影响？
AI爬虫对网站造成了严重的服务器压力，导致服务中断，影响了网站的稳定性。
Anubis工具是如何阻止爬虫的？
Anubis工具通过工作量证明机制，要求爬虫计算哈希值，消耗其资源，从而阻止其访问。
为什么爬虫不遵守robots.txt文件？
爬虫通常不遵守robots.txt文件，频繁抓取数据，伪装成真实用户，难以有效拦截。
使用Cloudflare可以解决哪些问题？
使用Cloudflare可以帮助网站挡掉AI爬虫，减轻服务器压力，提升服务稳定性。
Anubis的工作量证明机制具体是怎样的？
Anubis的工作量证明机制要求用户计算一个哈希值，直到满足特定条件，才能访问目标网站。
AI爬虫的流量占比如何？
有站长报告称，经过Anubis验证后，97%的流量可能都是机器人，显示AI爬虫的数量非常庞大。
➡️
