The Verge
·
Cloudflare称Perplexity的AI机器人正在对被封锁的网站进行‘隐秘爬取’
内容提要
AI初创公司Perplexity被指绕过网站限制，继续抓取内容。Cloudflare报告称，Perplexity在被阻止时伪装身份，甚至冒充Google Chrome。Cloudflare已取消其认证，并推出阻止其爬虫的方法。
关键要点
-
AI初创公司Perplexity被指绕过网站限制，继续抓取内容。
-
Cloudflare报告称，Perplexity在被阻止时伪装身份，冒充Google Chrome。
-
Cloudflare已取消Perplexity的认证，并推出阻止其爬虫的方法。
-
Perplexity曾被指控无视付费墙和robots.txt文件。
-
Cloudflare接到客户投诉，称Perplexity的爬虫仍能访问其网站。
-
Cloudflare测试发现，Perplexity会伪装成不同的爬虫名称以绕过限制。
-
Perplexity还会更改用户代理信息和自主系统网络以规避阻止。
-
Cloudflare的报告指出，这种活动在数万个域名和每天数百万请求中被观察到。
-
Perplexity发言人称Cloudflare的报告是“宣传噱头”，并表示存在误解。
-
Cloudflare CEO强调AI对出版商的“生存威胁”，并开始要求AI公司支付抓取费用。
延伸解读
Perplexity的爬虫行为引发的担忧
Perplexity被指控绕过网站限制，继续抓取内容，这引发了对其道德和法律合规性的广泛担忧。尤其是在其被指控无视付费墙和robots.txt文件的背景下，出版商和内容创作者可能面临内容被盗用的风险。
Cloudflare的应对措施
Cloudflare已取消Perplexity的认证，并推出新的阻止措施，显示出对AI爬虫行为的重视。这一举措不仅保护了客户的网站，也可能促使其他平台采取类似的防护措施，以维护自身内容的安全性。
AI爬虫对出版商的威胁
Cloudflare的CEO强调，AI爬虫对出版商构成“生存威胁”。随着AI技术的发展，出版商可能需要重新评估其内容保护策略，并考虑向AI公司收取抓取费用，以确保其内容的合法使用。
延伸问答
Perplexity是如何绕过网站限制的？
Perplexity通过伪装身份，冒充Google Chrome等浏览器，改变用户代理信息和自主系统网络来绕过网站限制。
Cloudflare对Perplexity的指控是什么？
Cloudflare指控Perplexity在被阻止时伪装身份，继续抓取内容，并无视付费墙和robots.txt文件。
Perplexity的爬虫活动对网站有什么影响？
Perplexity的爬虫活动可能导致网站内容被未经授权抓取，影响出版商的生存和收入。
Cloudflare是如何应对Perplexity的爬虫的？
Cloudflare已取消Perplexity的认证，并推出了阻止其爬虫的方法，以保护客户网站。
Perplexity对此事件的回应是什么？
Perplexity发言人称Cloudflare的报告是“宣传噱头”，并表示存在误解。
Cloudflare CEO对AI爬虫的看法是什么？
Cloudflare CEO强调AI对出版商的“生存威胁”，并开始要求AI公司支付抓取费用。
