AI初创公司Perplexity被指绕过网站限制,继续抓取内容。Cloudflare报告称,Perplexity在被阻止时伪装身份,甚至冒充Google Chrome。Cloudflare已取消其认证,并推出阻止其爬虫的方法。
Perplexity的爬虫行为隐蔽,试图绕过网站限制,修改用户代理并忽视robots.txt文件。尽管被网站阻止,Perplexity仍能获取受限内容。相对而言,良好的爬虫应遵守规则。Cloudflare已将其列为非认证爬虫并采取阻止措施。
完成下面两步后,将自动完成登录并继续当前操作。