在多卡训练中,进程因SIGSEGV(段错误)崩溃,导致训练失败。常见原因包括不可序列化对象、内存不足和NCCL通信问题。建议检查GPU显存、共享内存及CUDA与NCCL的兼容性。调整CUDA和NCCL版本,使用gloo模式可暂时解决问题,但效率较低,优先使用NCCL。
完成下面两步后,将自动完成登录并继续当前操作。