蓝点网
·
人体3D模型网站遭OpenAI爬虫疯狂抓取引起瘫痪 类似发起某种DDoS攻击
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
乌克兰网站Trilegangers因OpenAI的GPTBot爬虫频繁抓取而瘫痪，导致服务器费用增加。尽管网站禁止未经授权的抓取，但robots.txt文件未正确设置。现已通过Cloudflare拦截该爬虫。
🎯
关键要点
- 乌克兰网站Trilegangers因OpenAI的GPTBot爬虫频繁抓取而瘫痪，导致服务器费用增加。
- 网站禁止未经授权的抓取，但robots.txt文件未正确设置。
- GPTBot使用600多个IP发起数以万计的请求，导致服务器无法处理流量。
- Trilegangers网站提供3D人体模型数据，供3D艺术家和视频游戏开发商使用。
- 即使没有设置robots.txt，GPTBot的抓取行为仍然可能违法，因为网站已禁止未经授权的使用。
- Trilegangers已通过Cloudflare拦截GPTBot和其他爬虫，解决了部分问题。
🏷️
标签
➡️
