程序设计实验室
·
数据不出内网：基于Ollama+OneAPI构建企业专属DeepSeek智能中台 - 程序设计实验室
内容提要
在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。安装后创建服务并导入模型。One API可通过Docker部署，解决tiktoken依赖问题需下载并重命名文件。配置完成后，可在One API中添加Ollama渠道。
关键要点
-
在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。
-
使用scp等工具将安装包上传到服务器，并解压安装。
-
创建Ollama服务以便于管理，并启用服务。
-
在离线服务器上无法使用ollama pull拉取模型，需要在本地下载模型并上传。
-
导出模型文件和Modelfile，并在服务器上导入模型。
-
One API是一个开源的LLM API管理与分发系统，支持多种大模型。
-
使用Docker部署One API，配置数据库和环境变量。
-
解决tiktoken依赖问题需要下载token encoder并重命名为SHA-1格式。
-
在One API中添加Ollama渠道，配置网络设置以确保连接。
-
在Linux环境中，使用宿主机的IP地址访问Ollama服务。
延伸解读
离线部署的挑战
在无外网环境中部署Ollama时，用户需提前下载所需的安装包和模型文件，并通过scp等工具上传到服务器。这一过程增加了部署的复杂性，尤其是对于不熟悉Linux命令的用户。建议在部署前做好充分的准备，确保所有文件都已下载并可顺利上传。
One API的灵活性
One API作为开源的LLM API管理系统，支持多种大模型的接入，极大地提升了模型管理的灵活性。用户可以根据需求选择不同的模型进行部署，适应不同的应用场景。然而，配置过程中可能会遇到网络和依赖问题，需提前做好相应的环境设置。
tiktoken依赖问题
在使用One API时，tiktoken库的依赖问题可能导致服务无法正常启动。用户需在离线环境中手动下载token encoder，并确保其文件名符合SHA-1格式。这一过程需要一定的技术背景，建议用户在遇到问题时仔细查看错误日志，以便快速定位和解决问题。
延伸问答
如何在无外网的Linux服务器上部署Ollama？
需要先在本地下载Ollama的安装包和模型文件，然后使用scp等工具上传到服务器，解压安装后创建服务并导入模型。
在离线环境中如何处理Ollama模型的下载？
在离线服务器上无法使用ollama pull拉取模型，需要在本地下载模型并上传到服务器。
One API是什么，它的主要功能是什么？
One API是一个开源的LLM API管理与分发系统，支持多种大模型，通过标准的OpenAI API格式统一访问。
如何解决tiktoken依赖问题？
需要从指定URL下载token encoder，并将其重命名为SHA-1格式，放在TIKTOKEN_CACHE_DIR目录下。
如何在One API中添加Ollama渠道？
在添加渠道时选择Ollama类型，自定义模型部分填入部署的模型名称，并填写宿主机的IP地址作为代理。
如何在Linux服务器上创建Ollama服务？
需要创建一个ollama.service文件，配置服务参数后启用服务，使用systemctl命令管理。
