如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段

OPENAI使用自己的爬虫GPTBot抓取信息并训练GPT系列模型。为保护权益，OPENAI公布了爬虫和IP地址供屏蔽。GPTBot遵守robots.txt协议，网站可根据需要屏蔽。OPENAI过滤付费和违规内容。允许GPTBot访问站点可提高模型准确性和安全性，但可屏蔽抓取。爬虫名称为GPTBot，网段为40.83.2.64/28。网站管理员可通过日志查看GPTBot的抓爬记录。