亚马逊AWS官方博客
·
亚马逊云科技Flink计算引擎使用指南
内容提要
亚马逊云科技全面支持Flink计算引擎，提供EMR on EC2和Managed Service for Apache Flink的使用指南，涵盖作业提交、监控、自动扩展及Iceberg集成，帮助客户快速上手。
关键要点
-
亚马逊云科技全面支持Flink计算引擎，包括EMR on EC2和Managed Service for Apache Flink。
-
EMR on EC2 Flink使用指南涵盖AutoScaler、作业提交、监控等内容。
-
AutoScaler在EMR on EC2中集成，支持in-place作业重启，优化作业重启时间。
-
建议使用EMR 7.x+和Flink 1.18+版本以获得最佳性能。
-
Flink作业的目标利用率可以通过AutoScaler进行调整，以满足设定的目标。
-
Iceberg在EMR on EC2上使用时需开启相关配置，支持MOR模式但不支持COW模式。
-
Glue Catalog可与Flink结合使用，简化Iceberg表的管理。
-
EMR on EC2集成CloudWatch Agent以监控系统指标，但Flink作业的指标需通过YARN Flink Rest API或Prometheus Exporter监控。
-
Managed Service for Apache Flink（MSF）提供更轻松的运维和自动化指标管理。
-
MSF的成本在某些场景下可能低于EMR on EC2，尤其是在高可用性需求下。
-
Python Flink可以在MSF中使用，支持Kafka数据源和Iceberg表的写入。
-
亚马逊云科技的Flink引擎在AutoScaler能力上进行了扩展和增强，提供更好的资源管理和成本节省。
延伸问答
亚马逊云科技如何支持Flink计算引擎？
亚马逊云科技通过Amazon EMR on EC2、Amazon EMR on EKS和Amazon Managed Service for Apache Flink全面支持Flink计算引擎。
EMR on EC2中的AutoScaler有什么优势？
EMR on EC2中的AutoScaler集成了优化功能，支持in-place作业重启，缩短作业调整后的重启时间，并能根据目标利用率自动调整并行度。
如何在EMR on EC2上使用Iceberg？
在EMR on EC2上使用Iceberg时，只需开启相关配置，注意Iceberg目前仅支持MOR模式，不支持COW模式。
Managed Service for Apache Flink的优势是什么？
Managed Service for Apache Flink提供更轻松的运维，自动化指标管理，并在某些场景下成本低于EMR on EC2，尤其是在高可用性需求下。
如何监控Flink作业的指标？
Flink作业的指标可以通过YARN Flink Rest API或Prometheus Exporter进行监控，EMR on EC2不提供作业级别的Metrics。
使用Glue Catalog与Flink结合有什么好处？
使用Glue Catalog可以简化Iceberg表的管理，并提供自动维护管理功能，如compaction和快照保留。
