付杰博客
·
Mediapartners-Google，Adsbot-Google是什么？
原文中文，约700字，阅读约需2分钟。
📝
内容提要
Mediapartners-Google和Adsbot-Google是Google的网络爬虫。Mediapartners-Google用于分析Google Adsense的关键词，专门抓取投放了Adsense的网页内容；Adsbot-Google为Google AdWords提供参考，抓取相关网页内容。两者均可通过robots.txt文件进行限制。
🎯
关键要点
-
Mediapartners-Google是Google的网络爬虫，用于分析Google Adsense的关键词。
-
Mediapartners-Google只抓取投放了Google Adsense的网页内容。
-
Adsbot-Google为Google AdWords提供参考，抓取相关网页内容。
-
Googlebot、Googlebot-Mobile和Googlebot-Image分别用于抓取网页文字、手机网页内容和图片内容。
-
可以通过robots.txt文件限制Mediapartners-Google和Adsbot-Google的爬取行为。
🏷️
