DEV Community
·
robots.txt的陷阱：我艰难学到的教训
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
作为独立博主，我错误地更新了robots.txt文件，阻止了/uploads/目录的索引，导致网站图标在搜索结果中消失。教训是：修改robots.txt需谨慎，SEO调整需耐心。
🎯
关键要点
- 独立博主错误更新robots.txt文件，阻止/uploads/目录索引，导致网站图标在搜索结果中消失。
- Google为每个索引网站分配特定的爬取预算，过多无用内容会影响新内容的索引和更新。
- 为了节省爬取预算，博主决定阻止/uploads/目录的索引，认为这样可以提高主要内容的爬取效率。
- 更新robots.txt后，搜索引擎通常需要5-7天处理，导致网站图标消失。
- 博主意识到网站图标也存放在/uploads/目录，导致无法被爬取和索引。
- 修改robots.txt文件需谨慎，SEO调整需要耐心，效果可能延迟几天。
🏷️
标签
➡️
