亚马逊AWS官方博客
·
高性能大规模机器学习分布式训练 – EFA（Elastic Fabric Adapter）最佳实践
内容提要
本文介绍了使用亚马逊弹性网络适配器（EFA）进行机器学习和高性能计算应用的最佳实践，包括性能验证、工具使用和监控。介绍了设备信息和网卡映射的工具，以及如何使用镜像构建和监控工具。同时，介绍了如何使用系统指标、VPC Flow Log和CloudWatch集成来监控EFA。总结了EFA的优势和适用场景。
关键要点
-
大语言模型和生成式人工智能推动了机器学习的普及，但训练大模型面临计算资源挑战。
-
亚马逊云科技的弹性网络适配器（EFA）可显著提高机器学习和高性能计算的网络性能。
-
EFA利用OS-Bypass技术和SRD协议，提供低延迟和高吞吐量。
-
EFA支持与多种加速计算实例集成，适用于大规模模型训练。
-
用户可通过EFA创建低延迟高速网络，实现模型并行训练。
-
EFA Installer提供一键部署程序，简化开发者使用EFA的过程。
-
在亚马逊云科技平台上使用EFA时，需在创建ENI时选择开启EFA。
-
EFA的设计需考虑网络规划、安全规则组和计算资源配置。
-
启用EFA的实例需在同一VPC子网内，且需合理规划IP地址。
-
EFA与ENA在操作系统上显示为不同的PCIe设备，但共享网络带宽。
-
建议将启用EFA的实例运行在Placement Group集群模式中以降低延迟。
-
容器技术在机器学习训练中越来越普遍，提供一致性和资源效率。
-
EFA可与Kubernetes和Amazon EKS集成，优化分布式训练性能。
-
Amazon SageMaker服务内置EFA集成，支持快速启动带有加速硬件的计算资源。
-
用户需对EFA性能进行管理和调优，使用NCCL Test等工具测试网络性能。
-
Perftest工具可用于了解EFA在RDMA中的特定操作性能。
-
监控EFA使用情况至关重要，用户可通过系统指标、VPC Flow Log和CloudWatch进行监控。
-
EFA是亚马逊云科技推出的网络加速技术，优化了分布式机器学习训练，提升了性能。
