Anjhon’s Blog
·
【小记】分布式训练中进程崩溃 SIGSEGV
💡
原文中文，约5000字，阅读约需12分钟。
📝
内容提要
在多卡训练中，进程因SIGSEGV（段错误）崩溃，导致训练失败。常见原因包括不可序列化对象、内存不足和NCCL通信问题。建议检查GPU显存、共享内存及CUDA与NCCL的兼容性。调整CUDA和NCCL版本，使用gloo模式可暂时解决问题，但效率较低，优先使用NCCL。
🎯
关键要点
-
在多卡训练中，进程因SIGSEGV（段错误）崩溃，导致训练失败。
-
常见原因包括不可序列化对象、内存不足和NCCL通信问题。
-
建议检查GPU显存和共享内存，确保有足够的资源。
-
可以通过单卡测试来确认代码是否正常运行。
-
检查NCCL和CUDA的兼容性，确保版本匹配。
-
使用gloo模式可以暂时解决问题，但效率较低，优先使用NCCL。
❓
延伸问答
SIGSEGV错误在多卡训练中常见的原因是什么？
常见原因包括不可序列化对象、内存不足和NCCL通信问题。
如何检查GPU显存和共享内存以解决训练崩溃问题？
可以使用命令df -h /dev/shm查看共享内存大小，使用nvidia-smi检查显存使用情况。
在多卡训练中，如何确认代码是否正常运行？
可以通过单卡测试来确认代码是否正常运行。
如何解决NCCL和CUDA的兼容性问题？
可以尝试调整CUDA和NCCL的版本，确保它们与PyTorch版本兼容。
使用gloo模式解决问题的效率如何？
虽然使用gloo模式能正常运行代码，但其性能相比NCCL要低很多。
在多卡训练中，如何检查GPU之间的通信问题？
可以运行nvidia-smi topo -m命令，查看多块GPU之间的连接性。
➡️
