Canva选择Amazon KDS而非SNS+SQS,每日处理250亿事件,节省85%成本

Canva选择Amazon KDS而非SNS+SQS,每日处理250亿事件,节省85%成本

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

Canva选择了Amazon Kinesis Data Stream作为其产品分析平台的数据处理解决方案,以降低成本。团队使用SQS和SNS实现了事件驱动架构,但成本占据了80%。为了提高效率,团队选择了KDS并使用事件批处理和压缩技术。同时,他们还使用SQS作为备用机制。Canva还使用Protocol Buffers来定义事件架构。

🎯

关键要点

  • Canva选择Amazon Kinesis Data Stream作为其产品分析平台的数据处理解决方案,以降低成本。

  • 团队使用AWS SQS和SNS实现事件驱动架构,但成本占据了80%。

  • Canva每天处理约250亿个产品分析事件,支持个性化、推荐和A/B测试等功能。

  • 数据管道需要高吞吐量、高可用性(99.999%正常运行时间)和成本效益。

  • 团队在初始MVP阶段使用SQS和SNS,但后期选择KDS,因为其成本比SQS+SNS低85%。

  • 为提高KDS解决方案的成本效益,团队使用事件批处理和zstd压缩,节省了每年60万美元。

  • 在使用KDS时,团队注意到高尾延迟和吞吐量限制,实施了回退逻辑以利用SQS队列。

  • 团队使用Protocol Buffers定义事件架构,确保事件定义的向后和向前兼容性。

  • Datumgen工具用于验证兼容性要求并生成多种语言的代码,增强事件目录数据。

➡️

继续阅读