The Verge
·
Cloudflare称Perplexity的AI机器人正在对被封锁的网站进行‘隐秘爬取’
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
AI初创公司Perplexity被指绕过网站限制，继续抓取内容。Cloudflare报告称，Perplexity在被阻止时伪装身份，甚至冒充Google Chrome。Cloudflare已取消其认证，并推出阻止其爬虫的方法。
🎯
关键要点
- AI初创公司Perplexity被指绕过网站限制，继续抓取内容。
- Cloudflare报告称，Perplexity在被阻止时伪装身份，冒充Google Chrome。
- Cloudflare已取消Perplexity的认证，并推出阻止其爬虫的方法。
- Perplexity曾被指控无视付费墙和robots.txt文件。
- Cloudflare接到客户投诉，称Perplexity的爬虫仍能访问其网站。
- Cloudflare测试发现，Perplexity会伪装成不同的爬虫名称以绕过限制。
- Perplexity还会更改用户代理信息和自主系统网络以规避阻止。
- Cloudflare的报告指出，这种活动在数万个域名和每天数百万请求中被观察到。
- Perplexity发言人称Cloudflare的报告是“宣传噱头”，并表示存在误解。
- Cloudflare CEO强调AI对出版商的“生存威胁”，并开始要求AI公司支付抓取费用。
❓
延伸问答
Perplexity是如何绕过网站限制的？
Perplexity通过伪装身份，冒充Google Chrome等浏览器，改变用户代理信息和自主系统网络来绕过网站限制。
Cloudflare对Perplexity的指控是什么？
Cloudflare指控Perplexity在被阻止时伪装身份，继续抓取内容，并无视付费墙和robots.txt文件。
Perplexity的爬虫活动对网站有什么影响？
Perplexity的爬虫活动可能导致网站内容被未经授权抓取，影响出版商的生存和收入。
Cloudflare是如何应对Perplexity的爬虫的？
Cloudflare已取消Perplexity的认证，并推出了阻止其爬虫的方法，以保护客户网站。
Perplexity对此事件的回应是什么？
Perplexity发言人称Cloudflare的报告是“宣传噱头”，并表示存在误解。
Cloudflare CEO对AI爬虫的看法是什么？
Cloudflare CEO强调AI对出版商的“生存威胁”，并开始要求AI公司支付抓取费用。
🏷️
标签
➡️
