谷歌加密搜索结果后Brave搜索被爬瘫痪 所以现在Brave搜索也开始加密搜索结果

谷歌加密搜索结果后Brave搜索被爬瘫痪 所以现在Brave搜索也开始加密搜索结果

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

谷歌搜索加密结果并加中间页解密后,大量AI智能体和爬虫转向Brave搜索,使其压力剧增。Brave计划未来几天部署类似反爬机制:加密搜索结果链接,点击时经中间页向服务器申请实时解密,每条结果使用独立密钥,解密数据有时效性,使批量抓取失效。普通用户影响较小,主要打击高并发爬虫。商业客户可付费使用搜索API,普通开发者每月有10美元免费额度。

🔎

延伸解读

反爬机制的技术逻辑

Brave 计划采用与谷歌类似的中间页解密机制:搜索结果链接被加密,点击时浏览器需向服务器请求解密信息,服务器根据实时风控决定是否下发。每条结果使用独立密钥,且解密数据有时效性,使爬虫即使抓取到加密链接也难以批量利用。这种设计将压力从结果页转移到解密环节,提高了自动化抓取的成本。

对普通用户的实际影响

文章指出,这类机制对普通用户影响较小,主要打击高并发爬虫。用户点击结果时可能经历短暂的中间页跳转,但正常访问通常不会触发风控。不过,若用户 IP 或访问频率异常,也可能遇到类似谷歌的等待验证页面。整体上,Brave 的举措旨在保障搜索服务的稳定性,而非限制正常使用。

商业与开发者应对途径

对于需要批量获取搜索结果的商业客户,Brave 提供付费搜索 API;普通开发者也可开通 API,每月有 10 美元的合并免费额度,超额按次付费。这为合规的数据收集提供了替代方案,同时将爬虫压力导向可控的 API 渠道。文章未提及具体费率或调用限制,读者需以官方信息为准。

❓

Q&A

Brave搜索为什么也要加密搜索结果?

因为谷歌搜索加密结果后,大量AI智能体和爬虫转向Brave搜索,导致其压力剧增,所以Brave决定部署类似反爬措施来打击高频抓爬行为,确保服务稳定。

Brave搜索的加密跳转机制具体是怎么工作的?

用户点击搜索结果时,浏览器向Brave服务器请求解密信息,请求经过随机化处理,服务器下发解密信息,浏览器在本地解密地址后跳转到目标地址。每条结果使用独立密钥,且解密数据有时效性。

谷歌搜索的反爬措施是什么样的?

谷歌对部分搜索结果链接加密,使用google.com/goto/中间地址进行服务器实时解密。用户点击时请求先经中间页发送到谷歌服务器解密,服务器返回明文链接后中间页再跳转。若触发风控,用户需等待几秒验证。

Brave加密搜索结果对普通用户有影响吗?

影响较小,主要打击目标是高并发抓取内容的爬虫,普通用户正常搜索和点击结果不会受到明显影响。

如果我想批量获取Brave搜索结果,有什么合法途径?

可以付费开通Brave搜索API服务。商业客户可付费使用,普通开发者和用户也有每月10美元的合并免费额度,超额部分按次支付费用。

为什么爬虫抓取加密后的链接意义不大?

因为中间页解密数据有时效性,爬虫抓取到的加密链接可能在短期内失效,若无法绕过风控实时获取解密地址,批量抓取就无效。

🏷️

标签

➡️

继续阅读