内容提要
ScraperAPI是一家网络爬虫平台,因带宽需求增长而迁移至DigitalOcean Kubernetes(DOKS),实现每秒抓取14,000个网站,月处理360亿请求。通过DOKS,他们提高了可扩展性和可靠性,节省了时间,专注于新功能开发,提供99.9%的正常运行时间。
关键要点
-
ScraperAPI是一家网络爬虫平台,因带宽需求增长而迁移至DigitalOcean Kubernetes(DOKS)。
-
ScraperAPI现在每秒抓取14,000个网站,月处理360亿请求,提供99.9%的正常运行时间。
-
公司最初使用Droplets(虚拟机),但随着需求增长,决定迁移到DOKS以提高可扩展性和可靠性。
-
迁移采用了'提升和转移'的方法,将现有虚拟机迁移到Kubernetes,保持架构和代码不变。
-
ScraperAPI的团队由五名工程师组成,利用DOKS和其他托管服务来管理资源。
-
他们通过在DigitalOcean App Platform上创建概念验证(POC)来开发新功能,并在合适时迁移到DOKS以进行扩展。
-
ScraperAPI的迁移过程自动化,使用GitHub Actions来简化从App Platform到DOKS的迁移。
-
迁移到DOKS后,ScraperAPI能够在不到一分钟内进行扩展,节省了时间和成本。
延伸问答
ScraperAPI为什么选择迁移到DigitalOcean Kubernetes?
ScraperAPI因带宽需求增长和对可扩展性、可靠性的需求,选择迁移到DigitalOcean Kubernetes。
ScraperAPI迁移后每秒能抓取多少个网站?
迁移后,ScraperAPI每秒能抓取14,000个网站。
ScraperAPI的迁移过程是如何自动化的?
ScraperAPI使用GitHub Actions自动化从App Platform到DOKS的迁移过程。
ScraperAPI在迁移前使用了什么架构?
迁移前,ScraperAPI使用了Droplets(虚拟机)架构。
ScraperAPI的团队规模是多少?
ScraperAPI的团队由五名工程师组成。
迁移到DOKS后,ScraperAPI的正常运行时间是多少?
迁移到DOKS后,ScraperAPI提供99.9%的正常运行时间。