本文讨论了在多卡训练中通过重叠通信与计算提高效率的方法。重叠分为三个层次：第一层使用cp.async在内核内实现异步加载，第二层通过CUDA流实现内核间的并发，第三层利用NCCL在分布式环境中实现通信与计算的重叠。重叠可以隐藏等待时间，但也会导致资源争抢和同步开销。

Ring Attention是一种提高Transformer处理长序列能力的方法，通过分块计算自注意力和重叠通信，消除了设备内存限制，在语言建模任务上取得了显著性能提升。