斯坦福大学CS336课程：从零开始的语言建模 | 2025年春季 | 并行计算1

斯坦福大学CS336课程讨论多机优化与并行计算，重点在多个GPU上训练大型模型。

随着模型规模增加，单个GPU无法满足需求，需要通过多机并行提高计算和内存效率。

课程涵盖数据并行、模型并行和激活并行等策略，强调通信成本和内存管理的重要性。

多种并行方法的结合对于实现高效训练至关重要。

GPU的计算能力在快速增长，但单个GPU的内存增长速度较慢，无法满足大型模型的需求。

不同机器之间的通信速度较慢，影响模型的并行化策略。

集体通信操作如all-reduce、broadcast、reduce-scatter等在并行算法中具有重要意义。

数据并行是将参数复制到不同GPU，模型并行则是将模型切分到不同GPU上。

激活并行处理大模型时的激活内存问题，需要有效管理内存使用。

数据并行的通信开销与批量大小有关，批量大小过大会导致效率降低。

优化器状态分片可以显著降低内存使用，提升训练效率。

模型并行通过分割参数和传递激活来提高内存效率，避免数据并行的内存瓶颈。

流水线并行和张量并行是两种主要的模型并行策略，前者在实现上较为复杂。

零气泡流水线技术可以提高计算效率，减少通信开销。