蓝点网
·
开源/自有软件基础设施正在被人工智能破坏 大约97%的请求/流量都是爬虫而非真人
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
开源软件基础设施正受到AI爬虫攻击，GNOME网站在2.5小时内接到81,000个请求，其中97%为爬虫。爬虫不遵守robots.txt协议，导致服务器压力增加。GNOME等项目不得不使用Anubi系统拦截爬虫，管理员耗费大量资源应对这一问题。
🎯
关键要点
- 开源软件基础设施受到AI爬虫攻击，GNOME网站在2.5小时内接到81,000个请求，97%为爬虫。
- 爬虫不遵守robots.txt协议，导致服务器压力增加。
- GNOME使用Anubi系统拦截爬虫，管理员耗费大量资源应对问题。
- 其他项目如KDE、Fedora、LWN、Frame Software也面临类似问题。
- AI公司通过高频抓取数据来训练模型，导致目标网站资源浪费。
- 已知爬虫如GPTBot易于拦截，但许多爬虫模拟真实用户，拦截困难。
❓
延伸问答
AI爬虫对开源软件基础设施造成了什么影响？
AI爬虫导致开源软件基础设施面临严重的服务器压力，GNOME网站在短时间内接到大量请求，其中97%为爬虫。
GNOME是如何应对AI爬虫的？
GNOME使用名为Anubi的工作流证明系统来拦截AI爬虫，以减少对服务器资源的消耗。
爬虫不遵守robots.txt协议会有什么后果？
爬虫不遵守robots.txt协议会导致服务器承受过大的压力，影响正常用户的访问体验。
除了GNOME，还有哪些项目受到AI爬虫的影响？
KDE、Fedora、LWN和Frame Software等项目也面临类似的AI爬虫攻击问题。
AI公司为什么频繁抓取开源项目网站？
AI公司通过高频抓取数据来训练模型，这导致目标网站资源的浪费。
如何识别和拦截AI爬虫？
已知的爬虫如GPTBot可以通过用户代理（UA）进行拦截，但许多爬虫模拟真实用户，识别和拦截较为困难。
➡️
