ByteByteGo Newsletter
·
Canva如何每天收集250亿个事件
内容提要
ACI.dev的MCP服务器为AI代理提供600多种集成，支持多租户认证和自然语言权限，架构安全、智能、可靠，完全开源，简化基础设施建设。Canva的分析系统通过严格的模式管理和高效的数据收集与分发，确保数据实时性和可靠性，优化基础设施成本。
关键要点
-
ACI.dev的统一MCP服务器提供600多种集成，支持多租户认证和自然语言权限。
-
MCP服务器架构安全、智能、可靠，完全开源，简化基础设施建设。
-
Canva的分析系统通过严格的模式管理和高效的数据收集与分发，确保数据实时性和可靠性。
-
Canva的分析系统处理每天250亿个事件，具备五个九的正常运行时间。
-
Canva的分析管道分为三个核心阶段：结构、收集和分发。
-
结构阶段定义严格的模式，确保数据的一致性和可追溯性。
-
收集阶段通过统一客户端和异步管道高效收集事件，避免瓶颈。
-
分发阶段将事件路由到适当的目的地，确保各个消费者不互相阻塞。
-
Canva通过优化基础设施成本，降低了20倍的开销，保持了可靠性和速度。
-
使用Kinesis Data Streams进行事件传输，降低了85%的成本。
-
通过批量收集和压缩事件，Canva实现了显著的成本节约。
-
Canva的架构设计强调可靠性、成本效益和长期清晰度，适合大规模分析系统。
延伸解读
数据架构的重要性
Canva的分析系统强调严格的数据架构和模式管理，这对于确保数据的一致性和可追溯性至关重要。通过定义严格的Protobuf模式，Canva避免了因数据格式不一致而导致的分析问题。这种做法不仅提高了数据的可靠性，也为未来的查询提供了保障。
成本优化策略
Canva通过使用Kinesis Data Streams和批量压缩技术显著降低了基础设施成本。与传统的SQS/SNS方案相比，Kinesis提供了85%的成本节约。这表明，在设计大规模数据处理系统时，选择合适的工具和优化数据传输方式是实现成本效益的关键。
解耦架构的优势
Canva的分析管道通过将数据收集和分发解耦，避免了因消费者延迟而导致的整体性能下降。这种设计使得每个环节可以独立扩展和优化，确保了系统的高效性和可靠性。对于希望提升数据处理能力的团队来说，这种架构设计提供了重要的借鉴。
延伸问答
Canva是如何处理每天250亿个事件的？
Canva通过严格的模式管理、批量压缩和异步管道来处理每天250亿个事件，确保数据的实时性和可靠性。
Canva的分析系统有哪些核心阶段？
Canva的分析系统分为三个核心阶段：结构、收集和分发。
Canva是如何优化基础设施成本的？
Canva通过使用Kinesis Data Streams和批量收集事件，将基础设施成本降低了20倍，并实现了85%的成本节约。
Canva的事件收集阶段是如何工作的？
在收集阶段，Canva使用统一客户端和异步管道高效收集事件，确保不出现瓶颈。
Canva如何确保数据的一致性和可追溯性？
Canva通过严格的Protobuf模式管理，确保每个事件都符合定义的模式，从而保证数据的一致性和可追溯性。
Canva的事件分发阶段有什么特点？
在分发阶段，Canva将事件路由到适当的目的地，确保各个消费者不互相阻塞，从而提高了系统的效率。
