%E3%80%81torch.nn.DistributedDataParallel(DDP)%E3%80%82%0A%E4%BB%8A%E5%A4%A9%E7%9A%84%E9%87%8D%E7%82%B9%E6%98%AF%E5%9C%A8%20Docker%20%E4%B8%AD%E4%BD%BF%E7%94%A8%20torch.nn.DataParallel(DP)%20%E8%BF%9B%E8%A1%8C%E5%8D%95%E6%9C%BA%E5%A4%9A%E5%8D%A1%E8%AE%AD%E7%BB%83%E3%80%82&theme=light&border=solid)
Anjhon’s Blog
·
【小记】在 Docker 中多卡并行训练深度学习模型
💡
原文中文，约16700字，阅读约需40分钟。
📝
内容提要
在深度学习中，训练方式包括模型并行和数据并行。使用torch进行数据并行时，可以选择torch.nn.DataParallel或torch.nn.DistributedDataParallel。本文主要介绍如何在Docker中使用torch.nn.DataParallel进行单机多卡训练，包括环境准备和代码调整。
🎯
关键要点
- 深度学习训练方式分为模型并行和数据并行。
- 模型并行适用于模型大于显存的情况，通过将模型切割到不同GPU上训练。
- 数据并行是常用方式，每个GPU复制模型，将样本分发到各个GPU进行计算。
- 使用torch进行数据并行时有torch.nn.DataParallel和torch.nn.DistributedDataParallel两种选择。
- 本文重点介绍如何在Docker中使用torch.nn.DataParallel进行单机多卡训练。
- Docker环境准备时需注意共享内存大小和GPU使用设置。
- 代码调整主要是将模型对象包装为DataParallel模块，或通过继承重写方法支持并行。
- 提供了调整模型代码的示例，展示如何实现并行训练。
❓
延伸问答
在深度学习中，什么是数据并行和模型并行？
数据并行是将模型复制到每个GPU上，并将样本分发到各个GPU进行计算；模型并行则是将模型切割到不同GPU上训练，适用于模型大于显存的情况。
如何在Docker中设置多卡训练的环境？
在Docker中设置多卡训练时，需要使用命令设置共享内存大小和GPU使用，例如：`docker run -d --name test_container --gpus all --shm-size=16g`。
使用torch进行数据并行时，有哪些选择？
使用torch进行数据并行时，可以选择torch.nn.DataParallel和torch.nn.DistributedDataParallel两种方式。
如何调整模型代码以支持DataParallel？
需要将模型对象包装为DataParallel模块，或者通过继承重写方法来支持并行训练。
在Docker中，为什么需要设置共享内存大小？
设置共享内存大小是为了确保多GPU之间进行通信和数据交换时不会出现内存不足的错误。
torch.nn.DataParallel和torch.nn.DistributedDataParallel有什么区别？
torch.nn.DataParallel适用于单机多卡训练，而torch.nn.DistributedDataParallel则适用于分布式训练，后者在性能和扩展性上更优。
➡️
