Mediapartners-Google和Adsbot-Google是Google的网络爬虫。Mediapartners-Google用于分析Google Adsense的关键词，专门抓取投放了Adsense的网页内容；Adsbot-Google为Google AdWords提供参考，抓取相关网页内容。两者均可通过robots.txt文件进行限制。