利用 Amazon ECS 进行分布式机器学习
内容提要
Amazon ECS是一个支持分布式机器学习工作负载的服务，提供简单的架构、无感升级和AWS IAM认证服务。本文介绍了如何使用PyTorch和RayTrain库在Amazon ECS上实现分布式数据并行的机器学习模型训练。通过部署基础设施、运行训练任务和清理资源等步骤，读者可以获得一个可用的示例并开始分布式机器学习的旅程。
延伸解读
分布式训练的资源选择：单节点多GPU vs 多节点
文章指出分布式训练有两种资源部署方式：单节点多GPU和多节点实例。并强调，对每个工作节点配备更多GPU通常能获得更好性能，因为集群中每个节点都需要额外开销。例如需要8个GPU时，使用1个8GPU实例比8个单GPU实例性能更优。但为降低实验成本，本文演练使用了g5.xlarge（单GPU）。读者在实际部署时需权衡性能与成本。
基础设施部署的关键考量
部署Ray服务时，文章建议遵循私有子网运行工作负载的最佳实践，同时创建NAT网关和Internet网关以下载数据集。使用单个子网可改善延迟，使所有实例在同一可用区启动，并避免可用区之间的数据传输费用。工作节点采用集群置放策略以获得低延迟网络性能。此外，Amazon ECS不支持Ray autoscaling，但可通过ECS服务自动扩展调整task数量实现类似效果。
训练日志解读与性能观察
训练日志显示GPU ID、进程排名、epoch数、batch size和steps等信息。由于每个实例仅一个GPU，GPU ID均为0；两个GPU对应进程排名0和1。FashionMNIST有60,000个示例，batch size为128时，每个epoch需469步，平均分配到2个GPU后变为235步。日志还显示每个epoch耗时约17秒，总训练时间3分7秒，最终准确率0.8852。这些数据有助于读者理解分布式训练的实际表现。
资源清理与成本控制
文章提醒，为避免产生额外费用，演练结束后需使用Terraform清理创建的所有资源。具体步骤包括：在distributed-ml-training目录下执行terraform destroy删除分布式训练蓝图，然后进入core-infra目录执行terraform destroy删除基础设施。这一步骤对于控制云成本至关重要，读者在完成实验后应确保执行清理操作。
Q&A
如何在 Amazon ECS 上进行分布式机器学习训练？
可以通过使用 PyTorch 和 RayTrain 库，在 Amazon ECS 上部署 ECS 集群和 Ray 集群，进行分布式数据并行的模型训练。
Amazon ECS 支持哪些资源部署方式进行分布式训练？
Amazon ECS 支持单节点多 GPU 和多节点实例两种资源部署方式进行分布式训练。
在使用 Amazon ECS 进行分布式训练时，如何准备基础设施？
需要创建 S3 桶和两个自动扩缩容的组，一个用于 Ray head 服务，另一个用于 Ray worker 服务，并遵循最佳实践进行基础设施部署。
分布式训练相比单 GPU 训练有什么优势？
分布式训练可以更快地完成模型训练，因为它利用多个 GPU 并行处理数据，提高了性能。
如何清理在 Amazon ECS 上创建的资源以避免额外费用？
可以使用 Terraform 命令删除创建的资源，确保清理所有使用的基础设施。
在 Amazon ECS 上运行训练任务时需要注意什么？
需要连接到运行 Ray head 服务的 EC2 节点，并确保 Ray worker 服务已启动完毕，以便顺利运行训练脚本。
