使用GitHub做定期爬蟲、保存與提供資料 / Building a Scheduled Crawler and Storing as Accessible Data by GitHub Action and Pages
原文中文,约600字,阅读约需2分钟。发表于: 。網路爬蟲的教學很多,但要怎麼定期執行爬蟲、又要把爬完的資料保存後供人取用,則是一個大問題。 API Crawler Example https://github.com/pulipulichen/API-Crawler-Example 我整合了GitHub Action跟GitHub Pages等多個技術,歸納了解決方案。主要技術如下: GitHub...
本文介绍了使用GitHub Action和GitHub Pages定期执行爬虫并保存数据的方法,提供了多种技术整合的解决方案。文章还提供了一个API爬虫示例,定期爬取指定网页的文章标题。读者可根据需求自定义爬虫,并在评论中留言想要抓取的数据。