Vercel News
·
BotID 揭示隐藏的 SEO 中毒
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
一家大型金融机构发现其网站出现异常的机器人流量，经过分析发现流量来自谷歌的合法爬虫。调查显示，早期的SEO攻击导致谷歌索引了恶意搜索页面。机构通过更新robots.txt和提交移除请求解决了问题，强调了识别合法爬虫的重要性。
🎯
关键要点
- 一家大型金融机构发现其网站出现异常的机器人流量，流量来自谷歌的合法爬虫。
- 安全团队注意到流量中有许多与金融服务无关的可疑搜索查询。
- 通过BotID的隐形验证码，机构能够识别出问题源并减轻机器人流量的影响。
- 调查发现，流量并非来自恶意爬虫，而是来自谷歌的合法爬虫，包括Googlebot和Google AdsBot。
- 深入分析显示，机构的旧基础设施曾遭受SEO攻击，导致谷歌索引了恶意搜索页面。
- 这些被污染的页面仍然存在于谷歌的索引中，尽管机构已迁移到新的基础设施。
- 机构通过更新robots.txt和提交移除请求解决了问题，强调了识别合法爬虫的重要性。
- 案例表明，识别机器人流量的来源比立即阻止更为重要，能够揭示潜在的深层问题。
➡️
