内容提要
谷歌全面推广搜索结果链接的goto中转跳转,旨在应对诉讼败诉后第三方及AI爬虫的抓取,导致抓取成本飙升。但上线两天内,用户发现利用浏览器语言设置触发翻译功能可获取明文链接,另有未公开漏洞私下流传,攻防战转向地下暗战。
延伸解读
成本飙升的算账逻辑
谷歌将搜索结果链接改为goto中转后,爬虫抓取成本大幅上升。以前一个请求就能获取整页链接,现在每条链接都需要额外请求重定向,一页五十条结果就需要五十一次请求,成本翻了五十倍。这种变化对依赖抓取数据的SEO工具和第三方服务影响巨大,可能导致工具涨价或数据质量下降。
翻译功能成侧门
谷歌的goto加密链接被用户发现可通过浏览器语言设置触发翻译功能来获取明文链接。这是因为翻译功能需要真实网址来抓取页面,谷歌在设计时给翻译服务器留了暗门,但未验证请求者身份。爬虫只需伪装成翻译请求,就能绕过加密,这暴露了新旧功能兼容的漏洞。
漏洞地下交易兴起
Natzir发现第二个漏洞后选择不公开,而是通过私信私下传播,这反映了攻防战转向地下。公开漏洞会被谷歌迅速修补,而私下流传的漏洞能存活更久,信息差成为宝贵资源。这种模式催生了灰色市场,漏洞在信任圈内流通,加剧了猫鼠游戏的复杂性。
Q&A
谷歌搜索结果链接的goto中转是什么?
谷歌在搜索结果中全面推广goto中转跳转,用户点击链接时先经过带有google.com/goto参数的中转地址,再由服务器重定向到最终页面。链接使用base64url编码,普通用户和机器无法直接读取目标网址。
谷歌为什么要全面推广goto中转链接?
主要原因是谷歌在2026年7月输掉了对SerpApi的诉讼,法院裁定搜索结果不受版权保护,谷歌的反爬系统在法律上站不住脚。为了应对第三方工具和AI公司对搜索结果的抓取,谷歌在技术上通过goto中转提高抓取成本,以阻止大规模数据采集。
goto中转链接对SEO工具和网站主有什么影响?
对SEO监测工具来说,抓取成本暴增,可能导致工具涨价或数据质量下降;对网站主来说,流量分析中的referer信息可能丢失,影响来源追踪;对第三方追踪服务,解析链接的归因分析工具可能失效。建议网站主密切关注数据异常,并联系工具提供商确认应对方案。
如何通过浏览器语言设置获取谷歌搜索结果的明文链接?
将浏览器语言设置为与搜索结果不同的语言,触发“翻译此页面”功能,该功能会生成包含明文网址的链接。例如,用英文系统搜索中文内容,或反之。爬虫开发者可以通过翻转Accept-Language头来利用此漏洞。
为什么谷歌的翻译功能会成为goto系统的漏洞?
因为翻译功能需要获取目标网页的真实网址才能抓取内容,所以谷歌在设计goto系统时给翻译功能留了暗门,直接提供明文网址。这个暗门没有验证请求者是真人还是机器,爬虫伪装成翻译请求即可获得明文链接。这是新旧功能兼容的代价,短期内难以彻底修复。
Natzir发现的第二个漏洞有什么特点?
第二个漏洞比第一个更厉害,可以获取包括AI Overviews在内的链接,且不需要访问URL就能拿到原始链接,可能省去重定向请求的成本。Natzir选择不公开这个漏洞,只通过私信私下传播,以避免被谷歌快速修补。
谷歌的goto链接能否被解码?
goto链接使用base64url编码,技术上可以被解码,但谷歌的意图不是数学加密,而是让爬虫为每个链接多花一次请求成本。爬虫需要逐个请求重定向才能获取真实地址,导致抓取成本大幅上升。
谷歌在反爬措施上还有哪些历史动作?
谷歌在2025年1月部署了SearchGuard反爬系统,2025年9月停掉了num=100参数,2026年7月测试goto链接,2026年8月全面推广。这些措施逐步收紧,旨在提高第三方抓取成本。