钟意博客
·
海光 K100 DCU VLLM 推理环境构建
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
本文介绍了在Kylin OS上部署深度学习模型的环境配置，包括系统要求、驱动安装、模型下载和镜像选择等步骤。建议使用小模型进行测试，并提供相关命令和配置文件示例。
🎯
关键要点
- 系统要求: Kylin OS, Hygon C86 7390 2S, 显存128G, 内存500G。
- 基础驱动安装: 参考DTK环境安装与部署，执行相关命令测试驱动。
- 模型文件下载: 可从HuggingFace或ModelScope下载离线模型，建议使用小模型进行测试。
- 环境镜像: 国产加速卡需使用定制镜像，选择与DCU驱动版本相匹配的镜像。
- 部署服务参数: 设置显卡槽、匹配K100架构、使用显卡数量和显卡使用率。
- docker-compose.yml配置: 修改显卡数、模型路径和映射路径等内容。
- 测试命令: 提供一些打印测试的命令，成功部署后可忽略。
❓
延伸问答
在Kylin OS上部署深度学习模型需要什么系统要求？
需要Kylin OS、Hygon C86 7390 2S、显存128G和内存500G。
如何安装基础驱动以支持深度学习模型的部署？
参考DTK环境安装与部署，执行相关命令测试驱动。
可以从哪里下载深度学习模型文件？
可以从HuggingFace或ModelScope下载离线模型，建议使用小模型进行测试。
国产加速卡在环境镜像选择上有什么特别要求？
国产加速卡需使用定制镜像，选择与DCU驱动版本相匹配的镜像。
如何配置docker-compose.yml文件以部署服务？
需要修改显卡数、模型路径和映射路径等内容。
成功部署后有哪些测试命令可以使用？
提供一些打印测试的命令，成功部署后可忽略这些命令。
➡️
