本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片（优化器状态、梯度、权重）减少显存占用，前两级不增通信量，第三级需额外all-gather。ZeRO-1每参数4+12/N字节，ZeRO-2为2+14/N，ZeRO-3降至16/N。分片可放CPU，用双缓冲减少GPU占用，但需PCIe带宽支持。