在安装NVIDIA Container Toolkit之前,需确保已安装NVIDIA GPU驱动和Docker。根据操作系统使用相应命令安装工具包并配置Docker运行时。验证GPU支持后,可部署BGE-M3和BGE-Reranker模型,并执行命令启动服务进行测试。
完成下面两步后,将自动完成登录并继续当前操作。