亚马逊AWS官方博客
·
基于 HAMi 的 GPU 虚拟化实践
💡
原文中文，约11500字，阅读约需28分钟。
📝
内容提要
本文探讨了在Kubernetes环境中使用HAMi实现GPU资源的虚拟化与调度，以满足小模型和大模型对显存与算力的隔离需求。HAMi通过智能调度和资源管理，提高了GPU的利用效率，解决了Nvidia现有方案的不足之处。
🎯
关键要点
- 本文探讨在Kubernetes环境中使用HAMi实现GPU资源的虚拟化与调度。
- HAMi满足小模型和大模型对显存与算力的隔离需求，提高GPU利用效率。
- 项目旨在基于Kubernetes构建GPU资源申请与管理平台，实现GPU算力共享与显存隔离。
- 小模型部署需要显存隔离和算力共享，大模型部署需要多卡支持和显存配额分配。
- Nvidia的主流GPU虚拟化方案存在隔离性不足、资源利用率不高等问题。
- HAMi是开源的GPU虚拟化与调度系统，提供细粒度的GPU资源管理能力。
- HAMi通过智能调度和资源管理，动态分配、隔离并调度GPU资源。
- HAMi的Pod调度过程包括请求拦截、调度逻辑和设备插件注入。
- HAMi Core通过LD_PRELOAD机制实现对CUDA API的拦截，确保资源隔离。
- 基于EKS的HAMi部署实践包括组件安装和实际场景部署。
- HAMi支持小模型和大模型的显存隔离与算力共享，提升GPU利用效率。
- 测试结果显示，HAMi在多任务并行情况下对GPU资源管理的性能损耗约为18%。
- HAMi是一种在可控开销下提升资源利用率的实用折中方案。
➡️
