定向减免!函数计算让轻量 ETL 数据加工更简单,更省钱
内容提要
函数计算推出定向减免方案,简化ETL数据加工,提高实时性和降低计算费用。适用于数据投递分析、数据加工清洗转存、业务消息处理等场景。阿里云消息类产品和函数计算可实现弹性消息ETL方案,云工作流可实现任务协调和错误处理。铭师堂通过函数计算构建实时ETL任务解决方案,提高执行时间和效率,降低成本。
延伸解读
定向减免的适用范围与条件
自2024年1月1日起,函数计算定向减免来自阿里云消息类产品(如MNS、RocketMQ、RabbitMQ、Kafka、MQTT、EventBridge)和云工作流(CloudFlow)的函数调用次数费用。这意味着通过这些产品事件触发的函数调用不再计入费用账单。但需注意,减免仅针对调用次数费用,vCPU和内存等资源费用仍按实际使用量计费。
成本节省的量化示例
文章以某出行客户为例:每天处理10亿条Kafka消息,每次处理平均耗时10毫秒,算力规格0.1c0.5g。按阶梯0单价计算,vCPU费用90元,内存费用45元,调用次数费用900元。若定向减免调用次数费用,该场景可节省87%的计算费用。实际节省比例因业务场景而异,需结合具体用量测算。
与Kubernetes方案的对比
铭师堂原先将ETL任务部署在Kubernetes上,存在Kafka消费端并发受限于partition数、弹性策略滞后导致高峰期任务堆积等问题。迁移至函数计算后,利用Kafka触发器实时感知消息,按需调度资源,单请求响应时延从100~200ms降至50ms左右,且无需预留资源,实现了按量付费和资源利用率提升。
实施ETL的集成方式
函数计算与阿里云消息产品通过Connector生态集成,可在Kafka、RocketMQ、RabbitMQ控制台配置Connector,选择函数计算模板实现过滤、转换、投递等基础需求;也可在函数计算控制台创建事件函数进行定制开发。EventBridge事件流和云工作流CloudFlow同样支持类似集成,云工作流还可协调多个分布式任务,简化错误处理和状态管理。
Q&A
函数计算FC的定向减免方案具体减免哪些费用?
自2024年1月1日起,函数计算定向减免来自阿里云消息类产品和云工作流(CloudFlow)的函数调用次数费用,即通过以上产品事件触发函数计算所产生的函数调用次数不再计入费用账单。
哪些阿里云产品可以享受函数调用次数费用减免?
包括消息服务MNS、云消息队列RocketMQ版、消息队列RabbitMQ版、云消息队列Kafka版、云消息队列MQTT版、事件总线EventBridge以及云工作流(CloudFlow)。
函数计算FC在ETL场景中能节省多少计算费用?
以某出行领域客户为例,每天处理10亿条Kafka消息,若定向减免函数调用次数费用,该ETL场景可立省87%计算费用。
函数计算FC支持哪些热门的ETL场景?
函数计算FC支持数据投递分析、数据加工清洗转存和业务消息处理等热门ETL场景。
铭师堂基于函数计算FC的实时ETL解决方案有哪些业务收益?
业务收益包括:执行时间快,单请求响应时延从100~200ms降至50ms左右;弹性效率高,依赖任务并发提前实时调度资源;提效还降本,按需调度、按量付费,资源利用率提升,且函数调用次数费用被定向减免。
云工作流(CloudFlow)在ETL中起到什么作用?
云工作流是用来协调多个分布式任务执行的全托管Serverless云服务,简化任务协调、状态管理和错误处理,支持复杂业务流程自动化,可编排300+云服务,并支持重试和动态并行任务执行。