云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
💡
原文中文,约2200字,阅读约需6分钟。
📝
内容提要
该文章介绍了在大数据ETL场景中,将Kafka中的音讯流转到其他下流服务的常见场景。通过判别音讯体内容,决定对MongoDB做何种DML操作。该计划具有灵活性和可扩展性,函数核算具有完善的日志体系和容错机制。文章还介绍了相关产品和架构。
🎯
关键要点
- 在大数据ETL场景中,将Kafka中的音讯流转到其他下流服务是常见的需求。
- 根据音讯体内容判别对MongoDB进行增、删、改的DML操作。
- 函数核算能够自动触发并处理Kafka音讯,用户可自定义函数代码。
- 该计划具有灵活性和可扩展性,支持一键拉起依赖产品。
- 函数核算具备完善的日志体系和容错机制,确保数据完整性和一致性。
- 当前源Kafka仅支持阿里云Kafka。
- 架构中包括VPC、交换机、安全组、Kafka、函数核算FC和MongoDB。
- 专有网络VPC提供用户自定义的私有网络,支持管理云产品实例。
- 函数核算FC是事件驱动的全托管计算服务,简化了基础设施管理。
- 云音讯行列Kafka版是高吞吐、可扩展的音讯行列服务,广泛应用于大数据领域。
- 云数据库MongoDB版提供高可用架构和弹性扩容等功能。
- 云速搭CADT为用户提供自助式云架构管理,降低管理难度和时间成本。
- 进行操作前需注册阿里云账号并完成实名认证,购买按量付费资源。
- 操作过程包括基础环境建立、MongoDB和函数核算FC的配置,以及场景验证。
➡️