内容提要
Ollama + Continue是一个工具,允许用户借助大型模型编写代码。文章提供了在服务器上安装和配置Ollama的说明,以及在VSCode中安装Continue插件的方法。还列出了可用模型及其配置的列表。
延伸解读
远程访问的配置要点
文章在服务器上安装Ollama后,通过修改systemd服务文件来支持远程访问。关键是在[Service]部分添加Environment变量,将OLLAMA_HOST设为0.0.0.0,并将OLLAMA_ORIGINS设为*。修改后需执行daemon-reload并重启服务。这样配置后,其他机器才能通过服务器IP和11434端口访问Ollama服务。
Continue插件的模型配置方式
在VSCode中安装Continue插件后,需要在config.json的models数组里添加模型配置。每个配置项包含title、provider、model和apiBase四个字段。provider统一为ollama,model对应Ollama中的模型名称,apiBase指向Ollama服务地址。如果使用本地模型,可以注释掉apiBase这一行。
可选模型与规模差异
文章列出的配置示例涵盖Codellama和Llama2两个系列,参数规模从7b到70b不等。Codellama提供7b、13b、34b三个版本,Llama2提供7b、13b、70b三个版本。不同规模对应不同的资源需求和生成能力,读者可根据服务器硬件条件选择合适的模型。更多可用模型可在Ollama官网的library页面查询。
Q&A
Ollama + Continue是什么工具?
Ollama + Continue是一个工具,允许用户借助大型模型编写代码。
如何在服务器上安装Ollama?
可以通过运行命令 'curl -fsSL https://ollama.com/install.sh | sh' 来安装Ollama。
在VSCode中如何安装Continue插件?
在VSCode的插件库中搜索并安装Continue插件即可。
Ollama支持哪些模型?
Ollama支持的模型包括Codellama和Llama2系列。
如何配置Ollama以支持远程访问?
需要修改配置文件,设置 'OLLAMA_HOST=0.0.0.0' 和 'OLLAMA_ORIGINS=*'。
如何在config.json中添加模型配置?
在config.json中添加模型配置文件,并根据需要注释掉本地模型的apiBase。