零基础入门AI:一键本地运行各种开源大语言模型 – Ollama

原文约6800字,阅读约需17分钟。发表于:

什么是 Ollama? Ollama 是一个可以在本地部署和管理开源大语言模型的框架,由于它极大的简化了开源大语言模的安装和配置细节,一经推出就广受好评,目前已在github上获得了46k star。

Ollama是一个能够在本地部署和管理开源大言语模型的结构,简化了装置和装备细节。支撑各个平台,提供docker image。运转Ollama服务后,能够检查版本和运行指令。通过API接口,能够实现更多功能。运行大言语模型的指令为"ollama run",可以下载并运行指定的模型。可以通过API接口进行交互。运行日志可以通过指令"journalctl -u ollama"查看。可以通过设置环境变量来指定局域网服务和GPU。大模型默认存储在不同操作系统的不同路径下,可以通过设置环境变量来修改存储路径。

相关推荐 去reddit讨论