安志合的学习博客
·
Docker部署bge-m3/bge-reranker模型
💡
原文中文，约6800字，阅读约需17分钟。
📝
内容提要
在安装NVIDIA Container Toolkit之前，需确保已安装NVIDIA GPU驱动和Docker。根据操作系统使用相应命令安装工具包并配置Docker运行时。验证GPU支持后，可部署BGE-M3和BGE-Reranker模型，并执行命令启动服务进行测试。
🎯
关键要点
- 确保已安装NVIDIA GPU驱动和Docker。
- 根据操作系统使用相应命令安装NVIDIA Container Toolkit。
- 配置Docker守护进程以使用NVIDIA Container Runtime。
- 验证Docker中GPU的支持，运行nvidia-smi命令。
- 下载BGE-M3和BGE-Reranker模型，推荐使用ModelScope。
- 部署BGE-M3嵌入模型和BGE-Reranker重排序模型的核心命令。
- 检查容器状态，确保服务正常运行。
- 发送测试请求以验证模型的功能。
- 处理CUDA计算能力兼容性错误，确保GPU与模型兼容。
❓
延伸问答
如何安装NVIDIA Container Toolkit？
根据操作系统使用相应命令安装NVIDIA Container Toolkit，Ubuntu使用apt命令，CentOS使用yum命令。
如何验证Docker中GPU的支持？
运行命令'docker run --rm --gpus all nvidia/cuda:12.0-base nvidia-smi'，如果能正常显示GPU信息，则配置成功。
BGE-M3和BGE-Reranker模型的核心功能是什么？
BGE-M3模型将文本转换为向量，BGE-Reranker模型对(query, document)对进行相关性打分。
如何部署BGE-M3嵌入模型？
使用'docker run'命令启动BGE-M3模型容器，指定模型路径和端口映射。
如何检查容器状态以确保服务正常运行？
使用'docker ps | grep -E "bge-m3|bge-reranker"'命令确认容器状态为Up。
遇到CUDA计算能力兼容性错误时该如何处理？
确认GPU型号和计算能力，替换适配的NVIDIA镜像以解决不匹配问题。
➡️
