程序设计实验室
·
数据不出内网：基于Ollama+OneAPI构建企业专属DeepSeek智能中台 - 程序设计实验室
💡
原文中文，约4900字，阅读约需12分钟。
📝
内容提要
在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。安装后创建服务并导入模型。One API可通过Docker部署，解决tiktoken依赖问题需下载并重命名文件。配置完成后，可在One API中添加Ollama渠道。
🎯
关键要点
- 在无外网的Linux服务器上部署Ollama，需要先下载并上传安装包和模型文件。
- 使用scp等工具将安装包上传到服务器，并解压安装。
- 创建Ollama服务以便于管理，并启用服务。
- 在离线服务器上无法使用ollama pull拉取模型，需要在本地下载模型并上传。
- 导出模型文件和Modelfile，并在服务器上导入模型。
- One API是一个开源的LLM API管理与分发系统，支持多种大模型。
- 使用Docker部署One API，配置数据库和环境变量。
- 解决tiktoken依赖问题需要下载token encoder并重命名为SHA-1格式。
- 在One API中添加Ollama渠道，配置网络设置以确保连接。
- 在Linux环境中，使用宿主机的IP地址访问Ollama服务。
➡️
