迁移成功案例:ScraperAPI的DevOps团队如何利用App Platform构建他们的DigitalOcean Kubernetes应用

迁移成功案例:ScraperAPI的DevOps团队如何利用App Platform构建他们的DigitalOcean Kubernetes应用

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

ScraperAPI是一家网络爬虫平台,因带宽需求增长而迁移至DigitalOcean Kubernetes(DOKS),实现每秒抓取14,000个网站,月处理360亿请求。通过DOKS,他们提高了可扩展性和可靠性,节省了时间,专注于新功能开发,提供99.9%的正常运行时间。

🎯

关键要点

  • ScraperAPI是一家网络爬虫平台,因带宽需求增长而迁移至DigitalOcean Kubernetes(DOKS)。

  • ScraperAPI现在每秒抓取14,000个网站,月处理360亿请求,提供99.9%的正常运行时间。

  • 公司最初使用Droplets(虚拟机),但随着需求增长,决定迁移到DOKS以提高可扩展性和可靠性。

  • 迁移采用了'提升和转移'的方法,将现有虚拟机迁移到Kubernetes,保持架构和代码不变。

  • ScraperAPI的团队由五名工程师组成,利用DOKS和其他托管服务来管理资源。

  • 他们通过在DigitalOcean App Platform上创建概念验证(POC)来开发新功能,并在合适时迁移到DOKS以进行扩展。

  • ScraperAPI的迁移过程自动化,使用GitHub Actions来简化从App Platform到DOKS的迁移。

  • 迁移到DOKS后,ScraperAPI能够在不到一分钟内进行扩展,节省了时间和成本。

延伸问答

ScraperAPI为什么选择迁移到DigitalOcean Kubernetes?

ScraperAPI因带宽需求增长和对可扩展性、可靠性的需求,选择迁移到DigitalOcean Kubernetes。

ScraperAPI迁移后每秒能抓取多少个网站?

迁移后,ScraperAPI每秒能抓取14,000个网站。

ScraperAPI的迁移过程是如何自动化的?

ScraperAPI使用GitHub Actions自动化从App Platform到DOKS的迁移过程。

ScraperAPI在迁移前使用了什么架构?

迁移前,ScraperAPI使用了Droplets(虚拟机)架构。

ScraperAPI的团队规模是多少?

ScraperAPI的团队由五名工程师组成。

迁移到DOKS后,ScraperAPI的正常运行时间是多少?

迁移到DOKS后,ScraperAPI提供99.9%的正常运行时间。

🏷️

标签

➡️

继续阅读