蓝点网
·
知乎故意使用乱码干扰必应/谷歌等爬虫 看起来确实是阻止内容被抓取训练AI
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
知乎故意使用乱码干扰搜索引擎爬虫，阻止内容被抓取用于训练AI。知乎希望保护自己的内容，可能会与某公司达成协议获取内容用于AI模型训练。
🎯
关键要点
-
知乎故意使用乱码干扰搜索引擎爬虫，阻止内容被抓取用于训练AI。
-
知乎匹配关键词spider和bot，检测到这些关键词时返回乱码信息。
-
知乎希望保护自己的内容，认为现有数据是巨大的金矿。
-
可能会与某公司达成协议获取内容用于AI模型训练。
-
测试显示，正常浏览器UA返回正常内容，而包含爬虫关键词的UA返回乱码。
-
百度爬虫也会返回乱码，但可以通过技术手段解决。
-
OpenAI的GPT爬虫大多数情况下返回乱码，表明知乎不希望其内容被抓取。
❓
延伸问答
知乎为什么使用乱码来干扰搜索引擎爬虫？
知乎使用乱码来阻止搜索引擎爬虫抓取其内容，以保护自己的数据资源。
知乎是如何检测爬虫的？
知乎通过匹配用户代理字符串中的关键词如'spider'和'bot'来检测爬虫。
使用正常浏览器UA和爬虫UA访问知乎有什么区别？
使用正常浏览器UA可以返回正常内容，而包含爬虫关键词的UA则返回乱码。
知乎的内容被抓取对其有什么影响？
知乎认为其内容是巨大的金矿，抓取会影响其商业利益，因此希望保护内容不被随意使用。
百度爬虫在抓取知乎内容时会遇到什么问题？
百度爬虫也会返回乱码内容，但可以通过技术手段解决，提供专门的索引通道。
OpenAI的GPT爬虫在抓取知乎时的表现如何？
OpenAI的GPT爬虫大多数情况下返回乱码，表明知乎不希望其内容被抓取。
🏷️
