The Cloudflare Blog
·
刚刚上线：Cloudflare的Arroyo和Pipelines实时数据流摄取
内容提要
Cloudflare推出Pipelines开放测试版，支持高吞吐量的实时数据流处理，简化数据摄取和存储。用户可通过简单命令创建管道，支持每秒高达10万请求。新收购的Arroyo将增强数据转换和实时处理能力，未来将推出更多功能和定价方案。
关键要点
-
Cloudflare推出Pipelines开放测试版，支持高吞吐量的实时数据流处理。
-
用户可以通过简单命令创建管道，支持每秒高达10万请求。
-
新收购的Arroyo将增强数据转换和实时处理能力。
-
Pipelines简化数据摄取和存储，无需管理底层基础设施。
-
用户按处理的数据付费，而不是按小时计费。
-
Pipelines支持将数据加载到Cloudflare的对象存储服务R2。
-
Pipelines允许用户在数据摄取过程中进行实时数据处理和转换。
-
Arroyo的目标是使实时处理对所有数据工作者可用，简化数据管道的构建。
-
Pipelines可以从HTTP端点和Workers中摄取数据，并将其批量加载到R2存储桶中。
-
在开放测试阶段，除了标准的R2存储和操作费用外，不会有额外费用。
-
未来将根据摄取和交付的数据量引入定价方案。
-
Pipelines将与R2数据目录集成，支持直接将数据流摄取到Iceberg表中。
延伸解读
实时数据处理的优势
Cloudflare的Pipelines和Arroyo结合，旨在简化实时数据处理。通过高吞吐量的数据摄取，用户可以在数据流入存储之前进行实时转换和处理。这种能力使得企业能够更快地获取数据洞察，提升决策效率，尤其在需要快速反应的场景中，如电商和金融交易。
简化数据管道的构建
Pipelines的设计使得用户无需深入了解底层基础设施即可创建数据管道。通过简单的命令，用户可以快速启动数据摄取，降低了技术门槛。这对于数据工程师和应用开发者来说，意味着可以更专注于业务逻辑，而不是基础设施的管理。
未来定价策略的关注点
虽然当前Pipelines的开放测试阶段没有额外费用，但未来将根据数据摄取和交付量引入定价方案。用户在使用过程中应关注数据使用量，以便在定价策略实施后做好预算规划，避免不必要的成本增加。
延伸问答
Cloudflare的Pipelines是什么？
Pipelines是Cloudflare推出的实时数据流摄取产品，支持高吞吐量的数据处理和存储。
如何创建一个Pipelines管道？
用户可以通过运行命令`npx wrangler@latest pipelines create my-clickstream-pipeline --r2-bucket my-bucket`来创建管道。
Pipelines支持多少请求每秒？
Pipelines支持每秒高达10万请求。
Arroyo在Pipelines中有什么作用？
Arroyo增强了Pipelines的数据转换和实时处理能力，使实时处理对所有数据工作者可用。
Pipelines的定价方案是怎样的？
在开放测试阶段，用户只需支付标准的R2存储和操作费用，未来将根据摄取和交付的数据量引入定价方案。
Pipelines如何处理数据流？
Pipelines允许用户在数据摄取过程中进行实时数据处理和转换，并将数据加载到Cloudflare的对象存储服务R2。
