在2024-2026年，GPU训练的瓶颈转向网络互联。文章探讨了机内和跨机的互联技术，如NVLink、InfiniBand和RoCEv2，强调LLM训练对网络带宽和延迟的敏感性，需优化通信以提高效率。分析了不同拓扑结构的优缺点，并提出调优方案以解决训练中的网络问题，最终强调网络基础设施在大规模训练中的重要性。

本文介绍了使用RoCE网卡提升带宽的方法，包括链路聚合、双网卡聚合、PFC流控、RDMA流量测试和统计信息。RoCE网卡的Bond支持三种模式，其中链路聚合模式可提升带宽。提供了Ubuntu和CentOS的操作命令，附有交换机和服务器端的配置。

本文介绍了RoCE多网卡互通问题的解决方法，包括路由表和ip rule路由策略的分析和实现，以及路由表副本、rule规则匹配优先级和源地址路由的实现方法。提供了一个脚本来完成路由设置。