基于Astro框架的博客网站添加Sitemap
内容提要
本文介绍了如何在Astro中安装和配置@astro/sitemap包，以生成网站地图并提交给搜索引擎。首先，通过NPM、Yarn或PNPM安装sitemap，并在配置文件中添加相关代码。然后，进行百度和谷歌的站点验证，提交网站地图地址。若遇问题，需检查robots.txt文件，确保未封禁爬虫。最后，提供了检测和解决抓取问题的方法。
延伸解读
百度收录的特别注意事项
百度对sitemap有特殊限制，不允许索引型sitemap。使用@astro/sitemap打包后会生成sitemap-0.xml和sitemap-index.xml两个文件，但切勿将sitemap-index.xml写入robots.txt，否则百度会提示Robots封禁，导致无法收录。提交时只应使用sitemap-0.xml。
robots.txt配置与问题排查
若百度抓取诊断提示robots封禁，需检查robots.txt是否允许爬虫访问。可修改为允许所有爬虫并指定正确的sitemap地址。修改后，在百度搜索资源平台点击报错上报，等待几分钟后重新提交。也可用curl命令模拟百度爬虫检查，返回HTTP 200表示正常。
谷歌站点验证与提交方式
谷歌站点验证可通过Google Search Console完成，支持下载HTML文件放入根目录或添加请求头到网站head中。提交sitemap时，可向谷歌ping地址发送GET请求，或直接在Search Console的站点地图中填写sitemap地址。验证成功后即可提交收录。
Q&A
如何在Astro中安装@astro/sitemap包？
可以使用NPM、Yarn或PNPM进行安装，命令分别为npx astro add sitemap、yarn astro add sitemap和pnpm astro add sitemap。
安装@astro/sitemap后需要做什么配置？
需要在astro.config.mjs配置文件中添加sitemap集成代码，确保包含import sitemap from '@astrojs/sitemap'和integrations: [sitemap()]。
如何提交网站地图给百度和谷歌？
在百度搜索资源平台填写网站的sitemap地址并进行站点验证；在Google Search Console中提交sitemap地址并验证网站。
如果遇到robots封禁问题该如何解决？
需要检查并修改robots.txt文件，确保允许爬虫访问，示例代码为User-agent: *，Allow: /。
百度和谷歌的站点验证有什么不同？
百度需要在搜索资源平台添加网站并进行文件验证，而谷歌则通过Google Search Console提交sitemap并选择验证方法。
如何检测网站是否被robots封禁？
可以使用curl命令检查，若返回http 200则代表正常，其他则为异常。
