陈少文的博客
·
使用 Volcano 运行 nccl-test
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
本文介绍了如何制作和推送nccl-test镜像，并使用Volcano Job运行nccl-test进行测试。同时还提供了清理环境和解决常见问题的方法。
🎯
关键要点
-
制作 nccl-test 镜像的步骤包括查看 CUDA 版本、编写 Dockerfile、编译和推送镜像。
-
使用 kubectl 给测试节点打标签，以便于 Volcano Job 的创建和管理。
-
创建 Volcano Job 的配置包括设置最小可用节点数、调度器名称和任务模板。
-
运行 nccl-test 时需要查看 Pod 状态并进入 Pod 配置环境变量，执行测试命令。
-
清理环境时使用 kubectl 删除 nccl-test 作业。
-
常见问题包括 'invalid device ordinal' 错误，可能与 CUDA 设备配置有关。
❓
延伸问答
如何制作 nccl-test 镜像？
制作 nccl-test 镜像的步骤包括查看 CUDA 版本、编写 Dockerfile、编译和推送镜像。
如何使用 Volcano Job 运行 nccl-test？
使用 Volcano Job 运行 nccl-test 需要给测试节点打标签，创建 Job 配置，并查看 Pod 状态。
在运行 nccl-test 时如何查看 Pod 状态？
可以使用命令 'kubectl get pod -l app=nccl-test -o wide' 来查看 Pod 状态。
如何清理 nccl-test 的运行环境？
清理环境时，可以使用命令 'kubectl delete job.batch.volcano.sh nccl-test' 删除 nccl-test 作业。
运行 nccl-test 时常见的错误是什么？
常见错误包括 'invalid device ordinal'，这可能与 CUDA 设备配置有关。
如何配置 Volcano Job 的最小可用节点数？
在创建 Volcano Job 时，可以通过设置 'minAvailable' 字段来配置最小可用节点数。
➡️
