The Cloudflare Blog
·
Perplexity正在使用隐蔽的、未声明的爬虫来规避网站的禁止爬取指令
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
Perplexity的爬虫行为隐蔽，试图绕过网站限制，修改用户代理并忽视robots.txt文件。尽管被网站阻止，Perplexity仍能获取受限内容。相对而言，良好的爬虫应遵守规则。Cloudflare已将其列为非认证爬虫并采取阻止措施。
🎯
关键要点
- Perplexity的爬虫行为隐蔽，试图绕过网站限制。
- Perplexity修改用户代理并忽视robots.txt文件，仍能获取受限内容。
- Cloudflare已将Perplexity列为非认证爬虫并采取阻止措施。
- 客户投诉Perplexity仍能访问其内容，尽管已设置阻止规则。
- 实验显示Perplexity能够获取未公开的测试域内容。
- Perplexity使用未声明的用户代理和多个IP地址规避网站限制。
- 良好的爬虫应遵循透明性、目的明确和遵守网站规则的原则。
- OpenAI的爬虫遵循最佳实践，尊重robots.txt文件。
- Cloudflare为客户提供保护措施，阻止未声明的爬虫活动。
- Content Independence Day使内容创作者能够控制AI爬虫的访问权限。
❓
延伸问答
Perplexity的爬虫是如何绕过网站限制的？
Perplexity通过修改用户代理和使用多个IP地址来规避网站的robots.txt文件和其他限制。
Cloudflare是如何应对Perplexity的爬虫活动的？
Cloudflare将Perplexity列为非认证爬虫，并采取措施阻止其爬虫活动。
良好的爬虫应遵循哪些原则？
良好的爬虫应透明、目的明确、遵守网站规则，并避免使用隐蔽手段。
Perplexity的爬虫行为对内容创作者有什么影响？
Perplexity的爬虫行为可能导致内容创作者的受限内容被未经授权地访问和使用。
Content Independence Day是什么？
Content Independence Day是Cloudflare推出的一项功能，允许内容创作者控制AI爬虫的访问权限。
OpenAI的爬虫与Perplexity的爬虫有什么不同？
OpenAI的爬虫遵循最佳实践，尊重robots.txt文件，而Perplexity则试图绕过这些规则。
🏷️
标签
➡️
