OpenAI公布了GPTBot的技术细节，解释了如何禁止其爬虫访问网站。GPTBot通过过滤网页内容来改进模型，禁止访问需要付费、收集个人信息或违反政策的来源。可以通过robots.txt规则禁止GPTBot访问整个网站或部分内容。也可以屏蔽特定IP段。OpenAI乐意给网站所有者选择权，但模型已经训练好，使用内容后不会进行说明。