本文介绍了PipeDream-2BW系统，该系统通过新型流水线和双缓冲器实现大模型训练加速，速度提高可达20倍，同时保持模型精度。研究还探讨了异步管道并行训练算法及其在深度神经网络中的应用，并提出多种优化方法以提升训练效率和降低通信成本。