亚马逊AWS官方博客 ·

基于 Amazon MWAA 和 Amazon Batch，实现载荷仿真任务弹性调度和计算

💡 原文中文，约12600字，阅读约需30分钟。

📝

内容提要

本文介绍了基于Amazon MWAA和Amazon Batch的载荷仿真任务弹性调度和计算方案。通过使用Amazon MWAA和Amazon Batch，可以实现风电机组载荷计算的可靠性和效率。文章提供了方案介绍和服务介绍，并详细介绍了环境搭建和任务调度的步骤。最后，通过验证结果证明了该方案的有效性。

🎯

关键要点

风电机组载荷计算是设计的第一步，结果用于结构部件强度分析。
载荷计算分为前处理和后处理两个阶段，前处理使用Bladed软件计算中间结果。
本文介绍了基于Amazon MWAA和Amazon Batch的载荷仿真任务调度方案。
Amazon MWAA是Apache Airflow的托管服务，提供高可扩展性和安全性。
Amazon Batch是完全托管的批处理计算服务，支持容器化工作负载的调度。
环境搭建包括创建Amazon MWAA、制作Custom AMI和配置Amazon Batch。
前处理任务通过Amazon Batch调度，使用Spot实例以节约成本。
后处理任务同样通过Amazon Batch调度，选择内存密集型实例。
使用Amazon Lambda函数管理Amazon FSx for Lustre文件系统的创建和删除。
验证结果显示该方案在真实场景中取得了良好效果，前处理和后处理任务均成功。
环境清理步骤包括删除创建的Amazon MWAA、Custom AMI和其他资源。

❓

延伸问答

如何使用Amazon MWAA和Amazon Batch进行载荷仿真任务调度？

可以通过创建Amazon MWAA和配置Amazon Batch来实现载荷仿真任务的调度，前处理任务使用Spot实例以节约成本，后处理任务选择内存密集型实例。

载荷计算的前处理和后处理阶段分别是什么？

前处理阶段使用Bladed软件计算中间结果，后处理阶段根据前处理的中间结果生成最终报告。

Amazon MWAA和Amazon Batch各自的功能是什么？

Amazon MWAA是Apache Airflow的托管服务，提供工作流程编排；Amazon Batch是完全托管的批处理计算服务，支持容器化工作负载的调度。

如何搭建Amazon MWAA环境？

搭建Amazon MWAA环境需要创建DAGs文件夹和Execution role，并确保Execution role具有调用Amazon Lambda、Amazon Batch和访问Amazon S3的权限。

使用Amazon Batch调度前处理任务时有哪些注意事项？

需要使用EC2 Spot实例以节约成本，选择计算密集型实例，并设置合适的重试策略和分配策略以降低中断概率。

验证方案有效性的方法是什么？

通过在真实场景中运行前处理和后处理任务，并检查计算结果和任务成功率来验证方案的有效性。