本周科技周刊讨论了AI爬虫对网站的影响，SourceHut站长抱怨爬虫导致服务器压力。介绍了Anubis工具，通过工作量证明机制阻止爬虫访问，需计算哈希值，消耗资源。科技动态包括太空挖矿机器人和英国夜空云彩现象。
开源软件基础设施正受到AI爬虫攻击，GNOME网站在2.5小时内接到81,000个请求，其中97%为爬虫。爬虫不遵守robots.txt协议，导致服务器压力增加。GNOME等项目不得不使用Anubi系统拦截爬虫，管理员耗费大量资源应对这一问题。
网页抓取是收集互联网数据的重要工具。抓取前需确认目标网站的抓取权限，包括检查robots.txt文件、元标签和HTTP头信息。遵循这些步骤可确保合法抓取，避免后续问题。同时，使用抓取工具时应负责任，避免对服务器造成压力。
该项目收集了各大公司的AI爬虫名称，建议网站管理员屏蔽这些爬虫以保护网站内容，减少服务器压力，且不影响网站正常运行。尽管允许爬虫抓取有助于AI发展，但大多数大型出版商选择不允许。
完成下面两步后，将自动完成登录并继续当前操作。
