【小记】分布式训练中进程崩溃 SIGSEGV

📝

内容提要

在多卡训练中，进程因SIGSEGV（段错误）崩溃，导致训练失败。常见原因包括不可序列化对象、内存不足和NCCL通信问题。建议检查GPU显存、共享内存及CUDA与NCCL的兼容性。调整CUDA和NCCL版本，使用gloo模式可暂时解决问题，但效率较低，优先使用NCCL。

🎯

关键要点

• 在多卡训练中，进程因SIGSEGV（段错误）崩溃，导致训练失败。

• 常见原因包括不可序列化对象、内存不足和NCCL通信问题。

• 建议检查GPU显存和共享内存，确保有足够的资源。

• 可以通过单卡测试来确认代码是否正常运行。

• 检查NCCL和CUDA的兼容性，确保版本匹配。

• 使用gloo模式可以暂时解决问题，但效率较低，优先使用NCCL。

🔎

延伸解读

SIGSEGV错误的常见原因

在多卡训练中，SIGSEGV（段错误）通常由不可序列化对象、内存不足或NCCL通信问题引起。开发者应仔细检查传入子进程的对象，确保其可序列化，并监控GPU和共享内存的使用情况，以避免因资源不足导致的崩溃。

NCCL与CUDA的兼容性

NCCL和CUDA的版本兼容性是多卡训练成功的关键。文章中提到的CUDA 12.8与NCCL 2.21.5的组合可能会导致问题，建议开发者在使用时确认版本匹配，必要时调整到更稳定的版本组合，以确保训练过程的顺利进行。

使用gloo模式的权衡

虽然使用gloo模式可以暂时解决NCCL兼容性问题，但其性能显著低于NCCL。因此，在解决问题后，开发者应优先考虑恢复使用NCCL，以确保训练效率，特别是在处理大规模数据时。

❓

延伸问答

SIGSEGV错误在多卡训练中常见的原因是什么？

常见原因包括不可序列化对象、内存不足和NCCL通信问题。

如何检查GPU显存和共享内存以解决训练崩溃问题？

可以使用命令df -h /dev/shm查看共享内存大小，使用nvidia-smi检查显存使用情况。

在多卡训练中，如何确认代码是否正常运行？

可以通过单卡测试来确认代码是否正常运行。

如何解决NCCL和CUDA的兼容性问题？

可以尝试调整CUDA和NCCL的版本，确保它们与PyTorch版本兼容。

使用gloo模式解决问题的效率如何？

虽然使用gloo模式能正常运行代码，但其性能相比NCCL要低很多。

在多卡训练中，如何检查GPU之间的通信问题？

可以运行nvidia-smi topo -m命令，查看多块GPU之间的连接性。

🏷️

标签

CUDA NCCL SIGSEGV 多卡训练 显存