NCCL 源码解读(17): Primitives Simple
本文是 NCCL 源码解读系列之一, NCCL 源码解读系列使用 NCCL 版本: v2.25.1-1. 本文介绍 Primitives<ProtoSimple> 相关实现细节. 前景提要 在之前关于 p2p transport 的文章中, 我们已经介绍了在发送方会在 p2pSendSetup 时分配 sizeof(ncclSendMem) 大小显存, 接收方会分配...
本文介绍了 NCCL 源码中 Primitives<ProtoSimple> 的实现细节，包括内存分配、连接过程及基本通信原语的构造。通过构造 Primitives 对象，分配线程角色以实现数据传输，并详细解析了 waitPeer、reduceCopy 等函数和字段，展示了数据在通信中的流动与处理过程。
