Canva - Engineering Blog
·
扩展以计数数十亿
💡
原文英文，约2200词，阅读约需8分钟。
📝
内容提要
Canva在内容使用计数服务的架构演变中，从MySQL转向OLAP数据库（如Snowflake），以提升数据处理的可扩展性和可靠性。新架构能够在几分钟内处理数十亿的使用事件，显著降低延迟和故障率，同时优化数据处理流程，提高数据准确性和处理效率，减少存储需求和代码复杂性。
🎯
关键要点
- Canva的内容使用计数服务经历了从MySQL到OLAP数据库（如Snowflake）的架构演变，以提升数据处理的可扩展性和可靠性。
- 新架构能够在几分钟内处理数十亿的使用事件，显著降低延迟和故障率。
- 通过简化服务代码库，减少了每月的故障事件，从最坏情况下的每月1次减少到每几个月1次。
- 初始架构使用MySQL时面临处理可扩展性、事件处理和存储消耗等问题。
- 新架构通过将原始使用事件转移到DynamoDB和使用OLAP数据库，解决了存储和处理可扩展性的问题。
- OLAP数据库的使用使得计算速度显著提高，整个管道延迟从超过一天减少到不到1小时。
- 通过将逻辑转移到OLAP数据库和DBT转换，减少了超过50%的存储数据，并消除了数千行的去重和聚合计算代码。
❓
延伸问答
Canva为什么要从MySQL转向OLAP数据库？
Canva转向OLAP数据库是为了提升数据处理的可扩展性和可靠性，能够在几分钟内处理数十亿的使用事件，显著降低延迟和故障率。
新架构如何提高数据处理效率？
新架构通过将原始使用事件转移到DynamoDB和使用OLAP数据库，简化了服务代码库，减少了存储需求和代码复杂性，从而提高了数据处理效率。
使用OLAP数据库后，Canva的故障率有何变化？
使用OLAP数据库后，Canva的故障事件从最坏情况下的每月1次减少到每几个月1次，显著提高了系统的可靠性。
Canva在数据处理上遇到了哪些主要问题？
Canva在数据处理上遇到了处理可扩展性、事件处理和存储消耗等问题，这些问题在使用MySQL时尤为明显。
OLAP数据库如何改善数据处理延迟？
OLAP数据库通过将计算大部分在内存中完成，使得整个管道延迟从超过一天减少到不到1小时，显著提高了处理速度。
Canva在架构演变中学到了哪些关键教训？
Canva学到了在面对数据处理挑战时，选择合适的数据库架构和简化代码库是至关重要的，这能有效提升系统的可扩展性和可靠性。
➡️
