蓝点网
·
如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
OPENAI使用自己的爬虫GPTBot抓取信息并训练GPT系列模型。为保护权益，OPENAI公布了爬虫和IP地址供屏蔽。GPTBot遵守robots.txt协议，网站可根据需要屏蔽。OPENAI过滤付费和违规内容。允许GPTBot访问站点可提高模型准确性和安全性，但可屏蔽抓取。爬虫名称为GPTBot，网段为40.83.2.64/28。网站管理员可通过日志查看GPTBot的抓爬记录。
🎯
关键要点
- OPENAI使用GPTBot爬虫抓取信息以训练GPT系列模型。
- OPENAI公布爬虫和IP地址供网站屏蔽，以保护网站权益。
- GPTBot遵守robots.txt协议，网站可根据需要屏蔽抓取。
- OPENAI过滤付费和违规内容，确保抓取内容的合规性。
- 允许GPTBot访问网站可提高模型的准确性和安全性，但网站可选择屏蔽。
- 爬虫名称为GPTBot，使用的IP网段为40.83.2.64/28。
- 网站管理员可通过日志查看GPTBot的抓爬记录，确认爬虫的真实性。
- 网站可通过robots.txt文件控制GPTBot的抓取权限。
➡️
