亚马逊AWS官方博客
·
亚马逊云科技Flink计算引擎使用指南
内容提要
亚马逊云科技全面支持Flink计算引擎，提供EMR on EC2和Managed Service for Apache Flink的使用指南，涵盖作业提交、监控、自动扩展及Iceberg集成，帮助客户快速上手。
关键要点
-
亚马逊云科技全面支持Flink计算引擎，包括EMR on EC2和Managed Service for Apache Flink。
-
EMR on EC2 Flink使用指南涵盖AutoScaler、作业提交、监控等内容。
-
AutoScaler在EMR on EC2中集成，支持in-place作业重启，优化作业重启时间。
-
建议使用EMR 7.x+和Flink 1.18+版本以获得最佳性能。
-
Flink作业的目标利用率可以通过AutoScaler进行调整，以满足设定的目标。
-
Iceberg在EMR on EC2上使用时需开启相关配置，支持MOR模式但不支持COW模式。
-
Glue Catalog可与Flink结合使用，简化Iceberg表的管理。
-
EMR on EC2集成CloudWatch Agent以监控系统指标，但Flink作业的指标需通过YARN Flink Rest API或Prometheus Exporter监控。
-
Managed Service for Apache Flink（MSF）提供更轻松的运维和自动化指标管理。
-
MSF的成本在某些场景下可能低于EMR on EC2，尤其是在高可用性需求下。
-
Python Flink可以在MSF中使用，支持Kafka数据源和Iceberg表的写入。
-
亚马逊云科技的Flink引擎在AutoScaler能力上进行了扩展和增强，提供更好的资源管理和成本节省。
延伸解读
Flink引擎的选择与应用场景
亚马逊云科技提供的Flink引擎有多种部署方式，包括EMR on EC2和Managed Service for Apache Flink。用户应根据自身需求选择合适的服务。例如，EMR on EC2适合需要灵活控制资源的场景，而MSF则更适合希望简化运维的用户。了解不同服务的特点，有助于优化资源配置和成本管理。
AutoScaler的优化与风险
EMR on EC2的AutoScaler功能经过优化，能够有效管理Flink作业的资源使用。然而，调整资源缩减的时间设置可能影响作业的稳定性。用户在使用AutoScaler时需权衡资源快速缩减与作业服务水平协议(SLA)之间的关系，以避免潜在的作业中断或性能下降。
Iceberg与Glue Catalog的集成
在EMR on EC2上使用Iceberg时，需注意当前仅支持MOR模式而不支持COW模式。使用Glue Catalog可以简化Iceberg表的管理，自动处理表的维护和优化。用户应确保在使用Iceberg时，合理配置分区和合并操作，以提升查询性能，尤其是在高频写入场景下。
延伸问答
亚马逊云科技如何支持Flink计算引擎？
亚马逊云科技通过Amazon EMR on EC2、Amazon EMR on EKS和Amazon Managed Service for Apache Flink全面支持Flink计算引擎。
EMR on EC2中的AutoScaler有什么优势？
EMR on EC2中的AutoScaler集成了优化功能，支持in-place作业重启，缩短作业调整后的重启时间，并能根据目标利用率自动调整并行度。
如何在EMR on EC2上使用Iceberg？
在EMR on EC2上使用Iceberg时，只需开启相关配置，注意Iceberg目前仅支持MOR模式，不支持COW模式。
Managed Service for Apache Flink的优势是什么？
Managed Service for Apache Flink提供更轻松的运维，自动化指标管理，并在某些场景下成本低于EMR on EC2，尤其是在高可用性需求下。
如何监控Flink作业的指标？
Flink作业的指标可以通过YARN Flink Rest API或Prometheus Exporter进行监控，EMR on EC2不提供作业级别的Metrics。
使用Glue Catalog与Flink结合有什么好处？
使用Glue Catalog可以简化Iceberg表的管理，并提供自动维护管理功能，如compaction和快照保留。
