在2024-2026年，GPU训练的瓶颈转向网络互联。文章探讨了机内和跨机的互联技术，如NVLink、InfiniBand和RoCEv2，强调LLM训练对网络带宽和延迟的敏感性，需优化通信以提高效率。分析了不同拓扑结构的优缺点，并提出调优方案以解决训练中的网络问题，最终强调网络基础设施在大规模训练中的重要性。

本文介绍了Infiniband RDMA编程，作者为Insu Jang，提供了相关代码和资源链接，适合对高性能计算感兴趣的读者。

InfiniBand是一种高性能计算网络标准，具备高吞吐量和低延迟，适用于计算机间的数据传输。它支持远程直接内存访问（RDMA），数据传输速率超过200 Gbps。网络分为两层，通过安装驱动程序可优化性能，并提供多种监控和测试命令以评估网络状态。