本文介绍EKS上GPU工作负载的架构实践，涵盖计算节点、网络邻近性和高性能存储三层。重点包括：EFA多网卡配置（含p6-b300特殊拓扑）、四种定价模式、基于AWS原生拓扑标签的调度、FSx for Lustre与S3 Express One Zone存储选型，以及Terraform模块实现，旨在提升分布式训练性能。

本文探讨了750B MoE模型从自建RoCE集群迁移至AWS EFA的过程，验证了Prefill-Decode分离推理的通信架构。客户希望利用AWS的弹性算力扩展本地GPU资源，降低硬件风险。通过理论分析和实际测试，比较了AWS EFA与自建RoCE集群的性能，发现EFA在复杂通信负载下表现良好，尽管在某些延迟指标上略逊一筹，但在尾延迟稳定性上有显著优势。整体来看，EFA已可替代RoCE，尤其在对尾延迟敏感的场景中表现出色。

Amazon FSx 现已支持适用于 Lustre 的 EFA 和 GDS，提升客户端吞吐量至 1500 Gbps，适合深度学习等高性能应用。用户可通过简单设置创建文件系统，利用强大计算实例加速工作负载，EFA 和 GDS 提供更高的数据传输效率和更大存储容量。

Amazon推出了Amazon EC2 ML容量块，提供大量GPU容量，采用EFA联网技术，价格动态变化。

本文介绍了使用亚马逊弹性网络适配器（EFA）进行机器学习和高性能计算应用的最佳实践，包括性能验证、工具使用和监控。介绍了设备信息和网卡映射的工具，以及如何使用镜像构建和监控工具。同时，介绍了如何使用系统指标、VPC Flow Log和CloudWatch集成来监控EFA。总结了EFA的优势和适用场景。