原文英文,约1000词,阅读约需4分钟。
📝
内容提要
ScraperAPI是一家网络爬虫平台,因带宽需求增长而迁移至DigitalOcean Kubernetes(DOKS),实现每秒抓取14,000个网站,月处理360亿请求。通过DOKS,他们提高了可扩展性和可靠性,节省了时间,专注于新功能开发,提供99.9%的正常运行时间。
❓
Q&A
ScraperAPI为什么选择迁移到DigitalOcean Kubernetes?
ScraperAPI因带宽需求增长和对可扩展性、可靠性的需求,选择迁移到DigitalOcean Kubernetes。
ScraperAPI迁移后每秒能抓取多少个网站?
迁移后,ScraperAPI每秒能抓取14,000个网站。
ScraperAPI的迁移过程是如何自动化的?
ScraperAPI使用GitHub Actions自动化从App Platform到DOKS的迁移过程。
ScraperAPI在迁移前使用了什么架构?
迁移前,ScraperAPI使用了Droplets(虚拟机)架构。
ScraperAPI的团队规模是多少?
ScraperAPI的团队由五名工程师组成。
迁移到DOKS后,ScraperAPI的正常运行时间是多少?
迁移到DOKS后,ScraperAPI提供99.9%的正常运行时间。
🏷️