Canva - Engineering Blog
·
Canva如何每天收集250亿个事件
内容提要
Canva的产品分析在帮助团队衡量产品特性的影响并做出数据驱动的决策方面起着重要作用。他们通过A/B测试新功能，确保只发布提供更好用户体验的功能。他们的产品分析管道每天处理250亿个事件，可实现99.999%的正常运行时间。他们的团队将任务分为三个类别：结构、收集和分发。他们使用Protobuf定义分析事件模式，并使用Datumgen生成多种语言的代码。他们使用Kinesis Data Stream收集事件，并使用Snowpipe Streaming将事件传递给Snowflake。他们还使用SQS作为KDS的回退选项。他们的服务提供至少一次的保证，确保事件至少被传递一次。
关键要点
-
Canva的产品分析帮助团队衡量产品特性的影响并做出数据驱动的决策。
-
新功能通过A/B测试确保只发布提供更好用户体验的功能。
-
产品分析管道每天处理250亿个事件，正常运行时间达到99.999%。
-
团队任务分为结构、收集和分发三个类别。
-
使用Protobuf定义分析事件模式，确保事件模式具有良好的文档和机器可读性。
-
Datumgen生成多种语言的代码以支持事件的发送和消费。
-
使用Kinesis Data Stream收集事件，并通过Snowpipe Streaming将事件传递给Snowflake。
-
SQS作为KDS的回退选项，确保事件至少被传递一次。
-
通过压缩数据和批量发送事件，节省了AWS成本。
-
将路由器与数据收集工作者解耦，以支持不同类型的消费者。
-
提供至少一次的保证，消费者需自行处理事件去重。
延伸问答
Canva的产品分析如何帮助团队做出决策？
Canva的产品分析通过衡量产品特性的影响，帮助团队做出数据驱动的决策，并确保只发布提供更好用户体验的新功能。
Canva每天处理多少个事件？
Canva的产品分析管道每天处理250亿个事件，正常运行时间达到99.999%。
Canva如何确保事件模式的兼容性？
Canva使用Protobuf定义事件模式，确保事件模式具有良好的文档和机器可读性，并遵循向前和向后兼容的规则。
Canva使用什么工具生成事件模式的代码？
Canva使用名为Datumgen的工具生成多种语言的代码，以支持事件的发送和消费。
Canva如何优化数据传输成本？
Canva通过压缩数据和批量发送事件来优化数据传输成本，节省了AWS成本。
Canva的事件传递保证是什么？
Canva的服务提供至少一次的保证，确保事件至少被传递一次，消费者需自行处理事件去重。
