本文介绍了如何为React应用生成sitemap.xml，以提升搜索引擎的可发现性和索引效率。sitemap.xml列出网站所有页面，帮助搜索引擎快速找到内容。使用npm包（如react-router-sitemap）可在构建过程中自动更新sitemap，确保每次部署后反映最新结构，尤其适用于动态内容。

为了让网站被谷歌索引，需要设置robots.txt和sitemap.xml文件。在使用Next.js和TypeScript生成这些文件时，可能会遇到sitemap.xml缓存问题。解决方法是创建一个新的sitemap2.xml文件并放入公共目录。耐心等待谷歌更新，并尝试使用新名称。

最近遇到一个需求，需要抓取Docusaurus和Uniswap Docs上的全部文档。通过研究网站，发现可以在域名后加上 /sitemap.xml ，然后搜索关键词 /docs/ 或 /concepts 就能找到所有文档URL。使用Charles抓取Ajax请求解析起来麻烦，可以采用这种简单的方法获取URL。