本文探讨了在Kubernetes环境中使用HAMi实现GPU资源的虚拟化与调度,以满足小模型和大模型对显存与算力的隔离需求。HAMi通过智能调度和资源管理,提高了GPU的利用效率,解决了Nvidia现有方案的不足之处。
本文介绍了华为云CCE平台上的GPU虚拟化技术,包括GPU资源的利用、CCE平台上GPU虚拟化的优势以及如何使用xGPU能力。文章还提到了安装插件、创建负载任务调用xGPU资源的方法,并给出了具体的操作步骤和示例。此外,还介绍了xGPU模式下的显存隔离和显存算力均隔离的使用方法,以及单pod中多个容器的显存隔离。最后,文章提到了GPU监控相关指标和升级GPU驱动版本的方法。
完成下面两步后,将自动完成登录并继续当前操作。