Kris Yan
·
如何避免自己的网站被OpenAI“白嫖”？
💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
OpenAI公布了GPTBot的技术细节，解释了如何禁止其爬虫访问网站。GPTBot通过过滤网页内容来改进模型，禁止访问需要付费、收集个人信息或违反政策的来源。可以通过robots.txt规则禁止GPTBot访问整个网站或部分内容。也可以屏蔽特定IP段。OpenAI乐意给网站所有者选择权，但模型已经训练好，使用内容后不会进行说明。
🎯
关键要点
- OpenAI公布了GPTBot的技术细节，介绍如何禁止其爬虫访问网站。
- GPTBot通过过滤网页内容来改进模型，禁止访问需要付费、收集个人信息或违反政策的来源。
- 网站所有者可以通过robots.txt规则禁止GPTBot访问整个网站或部分内容。
- 可以屏蔽特定IP段来禁止GPTBot访问。
- OpenAI提供选择权给网站所有者，但模型已经训练好，使用内容后不会进行说明。
➡️
