The Cloudflare Blog
·
构建Jetflow：Cloudflare灵活高效的数据管道框架
内容提要
Cloudflare的商业智能团队开发了Jetflow框架，处理每天1410亿行数据，显著提升数据摄取效率，支持多种数据库和SaaS应用，满足高性能、可扩展和易用性需求。
关键要点
-
Cloudflare商业智能团队开发了Jetflow框架，处理每天1410亿行数据。
-
Jetflow显著提升数据摄取效率，支持多种数据库和SaaS应用。
-
Jetflow的模块化设计使其易于扩展和测试，兼容多种数据源。
-
Jetflow实现了超过100倍的效率提升，数据摄取速度显著提高。
-
新框架设计要求包括高性能、向后兼容、易用性和可定制性。
-
Jetflow的管道配置通过YAML文件定义，支持消费者、转换器和加载器的模块化设计。
-
数据分区设计确保管道的幂等性，支持并行处理。
-
Jetflow使用Arrow格式提高数据传输效率，减少内存分配。
-
通过优化数据库驱动程序，Jetflow在ClickHouse和Postgres中实现了高效的数据摄取。
-
截至2025年7月，Jetflow每天摄取77亿条记录，预计总摄取量将达到141亿条。
延伸解读
Jetflow的模块化设计优势
Jetflow的模块化设计使得每个数据处理阶段（消费者、转换器、加载器）可以独立测试和扩展。这种设计不仅提高了开发效率，还降低了新用例的开发时间，确保了代码的正确性。用户可以根据需求灵活配置管道，适应不同的数据源和处理需求。
数据摄取效率的提升
Jetflow在数据摄取效率上实现了显著提升，处理速度从每秒60-80,000行提升至2-5百万行。这种效率的提升不仅减少了资源消耗，还加快了数据处理的响应时间，对业务决策和监控具有重要意义。
兼容性与可扩展性的重要性
Jetflow的设计考虑了向后兼容性，允许逐步迁移现有数据表。这种灵活性对于企业在不断增长的数据需求中至关重要，能够确保新旧系统之间的平滑过渡，避免因系统更换而导致的数据丢失或处理延迟。
延伸问答
Jetflow框架的主要功能是什么？
Jetflow框架主要用于处理每天1410亿行数据，显著提升数据摄取效率，支持多种数据库和SaaS应用。
Jetflow如何提高数据摄取效率？
Jetflow通过模块化设计和优化数据库驱动程序，实现了超过100倍的效率提升，数据摄取速度显著提高。
Jetflow支持哪些数据源？
Jetflow支持多种数据源，包括ClickHouse、Postgres、Kafka和多种SaaS API。
Jetflow的管道配置是如何定义的？
Jetflow的管道配置通过YAML文件定义，包含消费者、转换器和加载器的模块化设计。
Jetflow在数据处理中的幂等性是如何实现的？
Jetflow通过数据分区设计确保管道的幂等性，支持并行处理，避免重复数据处理。
Jetflow的设计要求有哪些？
Jetflow的设计要求包括高性能、向后兼容、易用性和可定制性。
