谷歌也开始打击AI抓取?谷歌搜索结果不再采用直链跳转 需要从服务器goto链接解码

谷歌也开始打击AI抓取?谷歌搜索结果不再采用直链跳转 需要从服务器goto链接解码

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

谷歌调整搜索链接机制,搜索结果不再直接显示网址,改为通过服务器加密跳转,旨在打击AI爬虫和自动化抓取。此举影响SEO统计工具,增加数据获取难度,但普通用户影响不大。谷歌未明确说明具体针对对象,行业猜测与AI数据抓取有关。

🔎

延伸解读

对SEO统计工具的影响

谷歌此次调整对SEO统计工具冲击最大。以往统计工具可直接抓取搜索结果页中的明文链接,现在需逐个点击链接获取最终地址,不仅耗时,还容易触发谷歌的反滥用机制。这可能导致依赖搜索来源数据的工具功能受限,站长获取关键词来源的难度增加。

AI爬虫的困境

过去AI爬虫和自动化程序抓取谷歌搜索结果虽有一定难度,但尚可绕过。新机制下,即使使用住宅代理IP分规模抓取,也极易触发反滥用机制,几乎不可能继续大规模抓取。这直接打击了依赖搜索数据训练AI模型的服务商,以及专门出售数据给AI公司的业务。

普通用户影响有限

对普通用户而言,此次调整影响不大。虽然点击搜索结果时需经过谷歌服务器解码跳转,可能略微增加延迟,但整体使用体验不会明显变差。用户仍能正常访问目标网页,只是网址不再直接显示,跳转过程多了一步,但感知不强。

Q&A

谷歌搜索链接跳转机制最近有什么变化?

谷歌搜索结果不再直接显示明文网址,而是改为通过服务器跳转,即从 google.com/goto?url=加密链接 进行解码后再跳转。

谷歌为什么要改变搜索结果的链接跳转方式?

谷歌官方称是为了应对不断变化的滥用行为,但未明确说明具体针对哪些服务。行业猜测主要是为了打击AI爬虫和自动化程序抓取数据。

谷歌搜索链接跳转机制的变化对普通用户有什么影响?

对普通用户影响不大,虽然点击搜索结果时需要通过谷歌服务器跳转,可能会略微增加延迟,但整体不会造成明显不便。

谷歌搜索链接跳转机制的变化对SEO统计工具有什么影响?

影响重大。统计工具需要跟随重定向链接获取明文内容,但每个搜索结果页面有海量内容,抓取前100个结果也需要花费时间解码,且容易触发谷歌的反滥用机制,导致数据获取难度剧增。

谷歌搜索链接跳转机制的变化对AI爬虫有什么影响?

对AI爬虫和自动化程序是坏消息。过去抓取谷歌搜索结果虽有一定难度但可绕过,现在几乎不可能,即使使用住宅代理IP分规模抓取也容易触发反滥用机制。

百度搜索在链接跳转方面有什么类似做法?

百度搜索在2015年前后也改成了加密地址跳转,导致统计工具无法解密关键词来源,当时CNZZ还发文抨击,后来百度推出百度统计可以解码数据。

🏷️

标签

➡️

继续阅读