谢乾坤|青南
·
一日一技：不走常规路线，列表页1秒搞定
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
最近遇到一个需求，需要抓取Docusaurus和Uniswap Docs上的全部文档。通过研究网站，发现可以在域名后加上 /sitemap.xml ，然后搜索关键词 /docs/ 或 /concepts 就能找到所有文档URL。使用Charles抓取Ajax请求解析起来麻烦，可以采用这种简单的方法获取URL。
🎯
关键要点
-
最近需要抓取Docusaurus和Uniswap Docs上的全部文档。
-
抓取文档的正文可以使用GNE高级版，只需有URL即可。
-
Docusaurus的页面和目录是JavaScript实时渲染的，XPath提取的链接有限。
-
使用Requests获取源代码无法获取每条目录的URL，Selenium执行XPath也不完整。
-
可以使用Charles抓取Ajax请求，但Docusaurus的URL在一个js文件中。
-
对于Docusaurus，可以在域名后加上/sitemap.xml并搜索/docs/来获取所有文档URL。
-
Uniswap Docs的URL分散在多个JS文件中，解析较为复杂。
-
同样可以在Uniswap Docs的域名后加上/sitemap.xml并搜索/concepts来获取文档URL。
-
在进行爬虫任务时，先研究网站可以减少不必要的工作量。
🏷️
