范叶亮的博客
·
本地部署大模型服务
💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
本文介绍了在macOS和Windows环境下部署本地大模型服务的步骤，包括安装ollama和LM Studio、配置环境变量、下载模型以及启动服务。用户可以通过API接口进行测试，确保上下文长度设置合适以优化效果。
🎯
关键要点
- 在 macOS 和 Windows 环境下部署本地大模型服务的步骤。
- macOS 系统需在终端中执行命令，Windows 系统需在 PowerShell 中执行命令。
- 配置环境变量以加速从 Hugging Face 下载模型。
- 使用命令安装 ollama 和下载模型。
- 配置监听地址和端口，启动模型服务。
- 确保在 Settings 中将 Context length 设置为最大值以优化效果。
- 通过 API 接口测试服务，确保模型正常运行。
- 建议 Windows 用户安装 LM Studio，macOS 用户安装 oMLX。
- 在 Settings 中设置合适的 Max Context Window 和 Max Tokens。
- 使用 vllm 服务的用户需在 macOS 系统上安装并启动服务。
❓
延伸问答
如何在macOS上安装ollama？
在终端运行命令：curl -fsSL https://ollama.com/install.sh | sh。
Windows用户如何配置环境变量以加速模型下载？
在PowerShell中运行命令：[Environment]::SetEnvironmentVariable('HF_ENDPOINT', 'https://hf-mirror.com', 'User')。
如何启动本地大模型服务？
运行命令：ollama run <模型名称>，并确保配置了监听地址和端口。
如何测试模型服务是否正常运行？
通过API接口发送请求，例如使用curl命令：curl http://127.0.0.1:11434/v1/chat/completions。
在Settings中如何优化上下文长度？
将Context length设置为最大值，以确保效果不下降。
macOS和Windows用户在安装LM Studio时有什么不同？
Windows用户需从LM Studio官网下载安装包，而macOS用户可选择安装oMLX。
➡️
