亚马逊AWS官方博客
·
亚马逊云科技Flink计算引擎使用指南
💡
原文中文，约15100字，阅读约需36分钟。
📝
内容提要
亚马逊云科技全面支持Flink计算引擎，提供EMR on EC2和Managed Service for Apache Flink的使用指南，涵盖作业提交、监控、自动扩展及Iceberg集成，帮助客户快速上手。
🎯
关键要点
- 亚马逊云科技全面支持Flink计算引擎，包括EMR on EC2和Managed Service for Apache Flink。
- EMR on EC2 Flink使用指南涵盖AutoScaler、作业提交、监控等内容。
- AutoScaler在EMR on EC2中集成，支持in-place作业重启，优化作业重启时间。
- 建议使用EMR 7.x+和Flink 1.18+版本以获得最佳性能。
- Flink作业的目标利用率可以通过AutoScaler进行调整，以满足设定的目标。
- Iceberg在EMR on EC2上使用时需开启相关配置，支持MOR模式但不支持COW模式。
- Glue Catalog可与Flink结合使用，简化Iceberg表的管理。
- EMR on EC2集成CloudWatch Agent以监控系统指标，但Flink作业的指标需通过YARN Flink Rest API或Prometheus Exporter监控。
- Managed Service for Apache Flink（MSF）提供更轻松的运维和自动化指标管理。
- MSF的成本在某些场景下可能低于EMR on EC2，尤其是在高可用性需求下。
- Python Flink可以在MSF中使用，支持Kafka数据源和Iceberg表的写入。
- 亚马逊云科技的Flink引擎在AutoScaler能力上进行了扩展和增强，提供更好的资源管理和成本节省。
➡️
