云小课｜MRS基础原理之Flink组件介绍
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
本文介绍了Flink，一种提供数据分发和并行计算的流数据处理引擎，可用于数据分析、ETL等应用，介绍了如何使用Flink客户端提交作业并查看运行信息。
🎯
关键要点
- Flink是一个批处理和流处理结合的统一计算框架，核心是流数据处理引擎。
- Flink适合低时延的数据处理场景，时延可达毫秒级。
- Flink系统包含Client、TaskManager和JobManager三个部分。
- Flink的关键特性包括流式处理、高吞吐、高性能和低时延。
- Flink提供丰富的状态管理特性，包括多种状态类型和State Backend。
- Flink支持精确一次语义，确保任务状态一致性。
- Flink提供丰富的时间语义支持，包括事件时间和Watermark。
- Flink的容错机制通过Checkpoint和Savepoint实现任务恢复。
- Flink SQL支持与DataStream和DataSet API无缝集成，简化数据分析和ETL应用。
- Flink允许在SQL中表示复杂事件处理（CEP）查询。
- 使用Flink客户端提交作业需要购买MRS集群并安装客户端。
- 作业提交后可通过Yarn和Flink原生页面查看运行信息。
➡️
