亚马逊AWS官方博客
·
适用于 Lustre 的 Amazon FSx 可将 GPU 实例的吞吐量提升高达 15 倍
内容提要
Amazon FSx 现已支持适用于 Lustre 的 EFA 和 GDS，提升客户端吞吐量至 1500 Gbps，适合深度学习等高性能应用。用户可通过简单设置创建文件系统，利用强大计算实例加速工作负载，EFA 和 GDS 提供更高的数据传输效率和更大存储容量。
关键要点
-
Amazon FSx 现已支持适用于 Lustre 的 EFA 和 GDS，提升客户端吞吐量至 1500 Gbps。
-
EFA 使得大规模运行需要高级别节点间通信的应用程序成为可能。
-
GDS 能够在本地或远程存储与 GPU 内存之间建立直接的数据传输路径。
-
适用于 Lustre 的 FSx 支持 EFA/GDS，使每个客户端吞吐量最高可提升 15 倍。
-
用户可以通过简单设置创建文件系统，利用强大计算实例加速工作负载。
-
EFA 通过绕过操作系统优化数据传输，GDS 通过实现文件系统与 GPU 内存间的直接数据传输提升性能。
-
创建支持 EFA 的适用于 Lustre 的 Amazon FSx 文件系统时，需选择持久、SSD 和支持 EFA 选项。
-
在 Amazon EC2 控制台中启动实例时，需选择与 FSx Lustre 文件系统相同的子网和安全组。
-
支持 EFA 的文件系统无需支付额外费用，自动使用 EFA。
-
支持 EFA 的文件系统有更大的最小存储容量增量要求。
-
支持 EFA 的文件系统与非 EFA 工作负载兼容，流量可通过传统 TCP/IP 网络传输。
延伸解读
EFA与GDS的优势
EFA和GDS的结合使得适用于Lustre的Amazon FSx能够显著提升数据传输效率，尤其适合深度学习和高性能计算等应用。EFA通过优化数据传输路径，减少延迟，而GDS则实现了GPU内存与存储之间的直接数据传输，进一步提升了性能。
部署注意事项
在创建支持EFA的FSx文件系统时，用户需注意选择合适的存储类型和容量。支持EFA的文件系统有更高的最小存储容量要求，且必须在同一子网内与EC2实例连接。此外，确保使用兼容的操作系统和Lustre客户端版本，以避免潜在的兼容性问题。
兼容性与灵活性
适用于Lustre的FSx保持了与EFA和非EFA工作负载的兼容性，用户可以无缝访问不同类型的工作负载。这种灵活性使得用户在迁移现有工作负载时，可以利用AWS DataSync轻松转移数据，确保业务连续性。
延伸问答
Amazon FSx 对 Lustre 的支持有什么新功能？
Amazon FSx 现已支持适用于 Lustre 的 EFA 和 GDS，提升客户端吞吐量至 1500 Gbps。
EFA 和 GDS 如何提升数据传输效率？
EFA 通过绕过操作系统优化数据传输，GDS 实现文件系统与 GPU 内存间的直接数据传输，提升性能。
如何创建支持 EFA 的 Amazon FSx 文件系统？
在 Amazon FSx 控制台中选择创建文件系统，输入名称，选择持久、SSD 和支持 EFA 选项，然后设置存储容量和网络配置。
使用 EFA 的文件系统有什么费用吗？
支持 EFA 的文件系统无需支付额外费用，自动使用 EFA。
支持 EFA 的文件系统与非 EFA 工作负载兼容吗？
支持 EFA 的文件系统与非 EFA 工作负载兼容，流量可通过传统 TCP/IP 网络传输。
在使用 EFA 时，客户端实例需要什么要求？
客户端实例必须在内核版本 6.8 或更高版本的 Ubuntu 22.04 上使用 Lustre 2.15 客户端，并位于同一子网内。
