亚马逊AWS官方博客
·
通过 ODCR 和 Prioritized Allocation Strategy 构建高效、经济的 EMR 集群（一）
内容提要
Amazon EMR 是一个托管的大数据处理平台，支持 Apache Hadoop 和 Spark。用户可以通过按需容量预留（ODCR）灵活预留资源，以确保在高需求时段（如促销季）有足够的资源供应。ODCR 分为 Open 和 Targeted 两种模式，分别适用于普通集群和核心任务集群，从而优化成本和提高效率。本文介绍了如何配置 EMR 集群以实现资源保障和成本优化。
关键要点
-
Amazon EMR 是一个托管的大数据处理平台，支持 Apache Hadoop 和 Spark。
-
用户可以通过按需容量预留（ODCR）灵活预留资源，以确保在高需求时段有足够的资源供应。
-
ODCR 分为 Open 和 Targeted 两种模式，分别适用于普通集群和核心任务集群。
-
ODCR 提供比预留实例（RI）更灵活的资源预留方式，可以指定自动生效和终止时间。
-
在促销季前通过 ODCR 提前预定资源是一种有效保障资源供应的做法。
-
Open 模式 ODCR 适用于成本优先的普通集群，多个集群共享资源池。
-
Targeted 模式 ODCR 适用于高优先级集群，资源池专项供应特定集群。
-
ODCR 的配置需要添加相应的权限，并通过 AWS CLI 创建容量预留。
-
在创建集群时，可以通过配置优先使用 ODCR 资源来保障资源供应。
-
ODCR 的使用策略可以通过 CapacityReservationOptions 进行配置。
-
手动扩缩容和 Managed Scaling 都可以使用 ODCR 进行资源管理。
-
总结中强调了 ODCR 在资源紧张时确保资源供应的能力，以及为不同类型集群选择合适的 ODCR 模式。
延伸解读
ODCR 的灵活性与优势
ODCR（按需容量预留）相比于传统的预留实例（RI），提供了更高的灵活性。用户可以根据需求灵活指定资源的生效和终止时间，这使得在高需求时段（如促销季）能够更有效地保障资源供应，避免因资源不足而导致的业务中断。
Open 与 Targeted 模式的选择
在选择 ODCR 模式时，用户需根据集群的实际需求进行判断。Open 模式适合成本优先的普通集群，多个集群共享资源池；而 Targeted 模式则适用于高优先级的核心任务集群，确保资源的专用性和可靠性。合理选择模式可以有效提升资源利用率。
配置权限的重要性
在使用 ODCR 进行资源预留时，确保 EMR 集群角色具备相应的权限是至关重要的。缺乏必要的权限可能导致资源预留失败，从而影响集群的正常运行。因此，在配置 ODCR 前，务必检查和设置好相关的 IAM 权限。
延伸问答
什么是 Amazon EMR？
Amazon EMR 是一个托管的大数据处理平台，支持 Apache Hadoop 和 Spark，用于处理和分析大量数据。
ODCR 有哪两种模式？
ODCR 有 Open 和 Targeted 两种模式，分别适用于普通集群和核心任务集群。
如何通过 ODCR 确保资源供应？
在促销季前通过 ODCR 提前预定资源，可以有效保障资源供应，避免资源紧张导致的集群创建失败。
ODCR 与预留实例（RI）有什么区别？
ODCR 提供比预留实例更灵活的资源预留方式，可以指定自动生效和终止时间，而 RI 则不具备这种灵活性。
如何配置 EMR 集群使用 ODCR？
在创建集群时，可以通过配置优先使用 ODCR 资源来保障资源供应，并需添加相应的权限。
ODCR 的使用策略如何配置？
ODCR 的使用策略可以通过 CapacityReservationOptions 进行配置，以优先使用 ODCR 资源。
