千古八方的博客
·
Ngnix上防止站点被采集，并防止垃圾搜索引擎抓取
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了使用Nginx防止站点被采集和垃圾搜索引擎抓取的方法，通过配置文件屏蔽采集器和垃圾爬虫的访问，实现禁止访问。作者测试发现效果良好，采集程序返回403禁止访问，垃圾评论减少到零。
🎯
关键要点
- 本文介绍了使用Nginx防止站点被采集和垃圾搜索引擎抓取的方法。
- 屏蔽采集器和垃圾搜索引擎的原因包括保护原创内容和减少无意义的垃圾内容。
- 某些大厂商采集站点内容后流量归零，导致普通用户受到影响。
- Nginx配置示例包括禁止特定用户代理的访问，返回403禁止访问。
- 测试结果显示，使用Python-urllib采集时返回403，垃圾评论减少到零。
- 本文适合依靠个人创作的博主。
➡️
