DEV Community
·
使用 Ollama + Ngrok 搭建本地 LLM，遠端存取 AI 模型教學
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
使用Ollama和Ngrok搭建本地LLM，解决远程访问AI模型的问题。安装Ollama后可下载多种模型，通过API实现远程调用。Ngrok将本地服务公开，便于远程访问，免费版每次生成的链接不同。
🎯
关键要点
- 使用Ollama和Ngrok搭建本地LLM，解决远程访问AI模型的问题。
- Ollama官网提供多种模型下载，支持API远程调用。
- 安装Ollama后，可以通过命令行管理模型，如启动、执行、列出和移除模型。
- Ollama支持API调用，提供多种参数配置以生成响应。
- Ngrok用于将本地服务公开，便于远程访问。
- 注册Ngrok后，可以通过命令行将本地Ollama API绑定到Ngrok。
- 使用Ngrok的免费版时，每次生成的链接不同，需付费才能保持固定链接。
❓
延伸问答
如何使用Ollama下载AI模型？
访问Ollama官网，选择想要下载的模型，复制命令并在终端执行即可。
Ngrok的主要功能是什么？
Ngrok用于将本地服务公开，使远程用户能够访问本地计算机或服务器。
如何通过API调用Ollama模型？
启动Ollama后，使用POST请求访问http://localhost:11434/api/generate，并提供必要的参数。
使用Ngrok时，免费版和付费版有什么区别？
免费版每次生成的链接不同，付费版可以保持固定链接。
Ollama支持哪些常用命令？
常用命令包括启动模型（ollama serve）、执行模型（ollama run）、列出模型（ollama list）等。
如何将Ollama API绑定到Ngrok？
在Ngrok中使用命令ngrok http 11434 --host-header="localhost:11434"将Ollama API绑定。
➡️
