蓝点网
·
百度百科已屏蔽谷歌/必应等大多数搜索引擎 估计也是怕内容被拿去训练AI？
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
百度百科屏蔽了谷歌和必应等搜索引擎，只允许国内部分搜索引擎访问。百度百科的措施类似于知乎，为了阻止未经授权的抓取。百度百科的屏蔽只是君子协定，仍有其他爬虫继续抓取内容。百度百科的模式和维基百科类似，但不允许搜索引擎抓取和训练AI。
🎯
关键要点
- 百度百科屏蔽了谷歌和必应等大多数搜索引擎，只允许国内部分搜索引擎访问。
- 百度百科的措施类似于知乎，目的是阻止未经授权的抓取。
- 百度百科的屏蔽只是君子协定，仍有其他爬虫继续抓取内容。
- 百度百科的模式和维基百科类似，但不允许搜索引擎抓取和训练AI。
- 百度百科的robots.txt文件显示，仅支持百度、搜狗、中国搜索等部分搜索引擎抓取内容。
- 百度百科明确禁止谷歌、必应、微软MSN等搜索引擎抓取其内容。
- 虽然360搜索未在封禁列表中，但实际上也被屏蔽。
- 百度百科的屏蔽措施主要是防止未经授权的抓取，但仍有很多爬虫可能继续抓取内容。
- 百度百科的内容是用户撰写的，维基百科允许搜索引擎抓取并训练AI，百度的做法被认为格局较小。
➡️
