亚马逊AWS官方博客
·
Amazon EMR on EC2 Step提交作业及和MWAA集成最佳实践
内容提要
本文介绍了在Amazon EMR on EC2上使用Step API提交Spark和Flink作业的最佳实践，包括集群模式、作业提交方式及与MWAA集成的细节，强调资源管理和作业状态监控的重要性，以提升大数据处理效率。
关键要点
-
Amazon EMR 是一个为大数据工作负载提供全面、灵活、高度可扩展的托管服务。
-
EMR on EC2 支持瞬态集群和长期运行集群两种模式，适用于不同的业务场景。
-
Step API 是向集群提交任务的接口，可以通过 AWS CLI、Python Boto3 API 等方式使用。
-
提交作业时，Step 状态不能反映 Flink 作业的执行状态，需通过 YARN REST API 获取真实状态。
-
对于 Spark 作业，使用 spark.yarn.submit.waitAppCompletion 参数控制客户端进程的退出行为。
-
MWAA 提供了与 EMR 的集成，支持创建集群和提交作业，但需注意并发控制以避免资源占用过高。
-
在 MWAA 中，可以通过自定义方法设置作业提交的并发度和状态监控。
-
Static BGP(S-BGP) 是为中国区域设计的数据传输服务，帮助客户降低数据传输成本。
-
本文总结了在 Amazon EMR on EC2 上使用 Step 提交 Spark 和 Flink 作业的最佳实践。
延伸解读
EMR集群模式选择
在使用Amazon EMR on EC2时，选择瞬态集群或长期运行集群至关重要。瞬态集群适合短期批处理任务，能够在作业完成后自动关闭，节省资源。而长期运行集群则适合持续的实时计算任务，支持动态扩缩容，确保在高负载时能够自动增加计算资源。根据业务需求合理选择集群模式，可以有效提升资源利用率和降低成本。
Step API状态监控
使用Step API提交作业时，需注意Step状态并不反映Flink作业的真实执行状态。Flink作业的状态应通过YARN REST API获取，以避免因Step状态误导而导致的资源浪费。此外，合理设置`spark.yarn.submit.waitAppCompletion`参数，可以帮助管理Master节点的内存占用，避免因并发作业过多而导致的系统崩溃风险。
MWAA与EMR集成的注意事项
在使用MWAA集成EMR时，需关注并发控制。MWAA默认的并行度为1，若同时调度多个作业，可能导致Master节点资源紧张。建议在数据回溯场景中创建新集群，或通过自定义方法调整并发度，以确保作业顺利执行而不影响现有集群的性能。合理的资源管理策略将有助于提升整体作业处理效率。
延伸问答
Amazon EMR on EC2支持哪些集群模式？
Amazon EMR on EC2支持瞬态集群和长期运行集群两种模式。
如何通过Step API提交Spark作业？
可以通过AWS CLI、Python Boto3 API等方式使用Step API提交Spark作业。
提交Flink作业时，如何获取真实的作业状态？
需通过YARN REST API获取真实状态，因为Step状态不能反映Flink作业的执行状态。
MWAA如何与EMR集成？
MWAA提供了与EMR的集成，支持创建集群和提交作业，但需注意并发控制以避免资源占用过高。
提交Spark作业时，如何控制客户端进程的退出行为？
可以使用spark.yarn.submit.waitAppCompletion参数来控制客户端进程的退出行为，默认值为true。
在使用Step API提交作业时，有哪些最佳实践？
最佳实践包括根据作业并发选择合适的waitAppCompletion参数，并通过YARN REST API监控作业状态。
