Canva - Engineering Blog
·
Canva持续数据平台的基础：使用Snowpipe Streaming
💡
原文英文，约2600词，阅读约需10分钟。
📝
内容提要
Canva通过改进产品分析平台，将月活跃用户从6000万增至2亿，员工超过4500人。为降低成本，采用Snowpipe Streaming实现低延迟数据摄取，减少了45%的云支出，提升了数据处理效率。
🎯
关键要点
- Canva的月活跃用户从6000万增至2亿，员工超过4500人。
- 为了降低成本，Canva采用Snowpipe Streaming实现低延迟数据摄取，减少了45%的云支出。
- Canva在产品分析平台上提出了三个核心问题，以提高数据处理的效率和准确性。
- 通过将数据推送到Snowflake数据平台，Canva实现了成本的显著降低。
- Firehose的使用成本高达平台成本的50%，因此Canva进行了多项优化。
- 通过使用Firehose Direct PUT，Canva成功将数据着陆成本降低了30%。
- Snowpipe Streaming提供了低延迟的数据摄取，简化了数据插入过程。
- Canva在生产中运行Snowpipe Streaming超过6个月，处理了超过20.35 PiB的数据。
- 通过Snowpipe Streaming，Canva将查询延迟减少到约10分钟，并计划进一步优化。
- Canva正在利用新工具实现更连续的数据处理，提升数据响应速度。
🏷️
标签
➡️
