程序设计实验室
·
数据不出内网：基于Ollama+OneAPI构建企业专属DeepSeek智能中台 - 程序设计实验室
💡
原文中文，约4900字，阅读约需12分钟。
📝
内容提要
在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。安装后创建服务并导入模型。One API可通过Docker部署，解决tiktoken依赖问题需下载并重命名文件。配置完成后，可在One API中添加Ollama渠道。
🎯
关键要点
- 在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。
- 使用scp等工具将安装包上传到服务器，并解压安装。
- 创建Ollama服务以便于管理，并启用服务。
- 在离线服务器上无法使用ollama pull拉取模型，需要在本地下载模型并上传。
- 导出模型文件和Modelfile，并在服务器上导入模型。
- One API是一个开源的LLM API管理与分发系统，支持多种大模型。
- 使用Docker部署One API，配置数据库和环境变量。
- 解决tiktoken依赖问题需要下载token encoder并重命名为SHA-1格式。
- 在One API中添加Ollama渠道，配置网络设置以确保连接。
- 在Linux环境中，使用宿主机的IP地址访问Ollama服务。
❓
延伸问答
如何在无外网的Linux服务器上部署Ollama？
需要先在本地下载Ollama的安装包和模型文件，然后使用scp等工具上传到服务器，解压安装后创建服务并导入模型。
在离线环境中如何处理Ollama模型的下载？
在离线服务器上无法使用ollama pull拉取模型，需要在本地下载模型并上传到服务器。
One API是什么，它的主要功能是什么？
One API是一个开源的LLM API管理与分发系统，支持多种大模型，通过标准的OpenAI API格式统一访问。
如何解决tiktoken依赖问题？
需要从指定URL下载token encoder，并将其重命名为SHA-1格式，放在TIKTOKEN_CACHE_DIR目录下。
如何在One API中添加Ollama渠道？
在添加渠道时选择Ollama类型，自定义模型部分填入部署的模型名称，并填写宿主机的IP地址作为代理。
如何在Linux服务器上创建Ollama服务？
需要创建一个ollama.service文件，配置服务参数后启用服务，使用systemctl命令管理。
➡️
