Canva - Engineering Blog
·
Canva持续数据平台的基础：使用Snowpipe Streaming
💡
原文英文，约2600词，阅读约需10分钟。
📝
内容提要
Canva通过改进产品分析平台，将月活跃用户从6000万增至2亿，员工超过4500人。为降低成本，采用Snowpipe Streaming实现低延迟数据摄取，减少了45%的云支出，提升了数据处理效率。
🎯
关键要点
- Canva的月活跃用户从6000万增至2亿，员工超过4500人。
- 为了降低成本，Canva采用Snowpipe Streaming实现低延迟数据摄取，减少了45%的云支出。
- Canva在产品分析平台上提出了三个核心问题，以提高数据处理的效率和准确性。
- 通过将数据推送到Snowflake数据平台，Canva实现了成本的显著降低。
- Firehose的使用成本高达平台成本的50%，因此Canva进行了多项优化。
- 通过使用Firehose Direct PUT，Canva成功将数据着陆成本降低了30%。
- Snowpipe Streaming提供了低延迟的数据摄取，简化了数据插入过程。
- Canva在生产中运行Snowpipe Streaming超过6个月，处理了超过20.35 PiB的数据。
- 通过Snowpipe Streaming，Canva将查询延迟减少到约10分钟，并计划进一步优化。
- Canva正在利用新工具实现更连续的数据处理，提升数据响应速度。
❓
延伸问答
Canva是如何提高产品分析平台的效率的？
Canva通过改进数据摄取方式，采用Snowpipe Streaming，提升了数据处理效率，并降低了成本。
Snowpipe Streaming的主要优势是什么？
Snowpipe Streaming提供低延迟数据摄取，简化数据插入过程，并且大部分数据传输到S3是免费的。
Canva在使用Snowpipe Streaming后取得了哪些成果？
Canva在使用Snowpipe Streaming后，处理了超过20.35 PiB的数据，查询延迟减少到约10分钟，云支出降低了45%。
Canva是如何降低云支出的？
Canva通过采用Snowpipe Streaming和优化数据处理流程，成功将云支出降低了45%。
Firehose在Canva的数据处理中遇到了什么问题？
Firehose的使用成本高达平台成本的50%，且存在5 KB的记录大小限制，导致费用增加。
Canva如何集成Kinesis Data Streams与Snowpipe Streaming？
Canva通过使用Kinesis Client Library (KCL)来集成Kinesis Data Streams与Snowpipe Streaming，以便快速交付价值。
🏷️
标签
➡️
