亚马逊AWS官方博客
·
一键部署 Ollama 与 OpenWebUI 至 Amazon EC2
内容提要
本文介绍如何在 Amazon EC2 实例上快速部署 Ollama 和 OpenWebUI，以创建本地大语言模型环境。用户需拥有有效的 AWS 账户，选择合适的镜像并完成实例配置，系统将自动安装所需软件。部署后可通过公网 IP 访问 Web 界面，适合开发测试和模型交互。
关键要点
-
本文介绍如何在 Amazon EC2 实例上快速部署 Ollama 和 OpenWebUI。
-
Ollama 是本地化的大语言模型运行平台，支持多种开源模型，启动快、资源占用低。
-
OpenWebUI 是兼容 Ollama 的开源图形界面，提供用户友好的模型交互体验。
-
部署前提是拥有有效的 AWS 账户，使用 GPU 实例需申请配额。
-
部署步骤包括点击部署链接、选择镜像、完成实例配置和等待部署完成。
-
选择合适的操作系统和镜像 ID，建议选择具备足够计算资源的实例类型。
-
系统将自动安装并配置 Ollama 和 OpenWebUI，完成后可通过公网 IP 访问 Web 界面。
-
用户可通过 ollama 指令增加更多模型，适用于开发测试和模型交互。
-
该方案可在数分钟内完成自动化部署，适合快速搭建本地推理环境。
延伸问答
如何在 Amazon EC2 上部署 Ollama 和 OpenWebUI？
用户需拥有有效的 AWS 账户，点击部署链接，选择合适的镜像，完成实例配置，系统将自动安装所需软件。
Ollama 是什么？
Ollama 是一个本地化的大语言模型运行平台，支持多种开源模型，启动快且资源占用低。
部署 Ollama 和 OpenWebUI 需要哪些前提条件？
需要拥有有效的 AWS 账户，若使用 GPU 实例需申请相应配额。
如何选择适合的镜像进行部署？
根据需求选择操作系统及是否支持 GPU，建议选择具备足够计算资源的实例类型。
部署完成后如何访问 Web 界面？
可通过分配的公网 IP 和端口 13638 访问 Web 界面，例如 http://xx.xx.xx.xx:13638。
如何增加更多模型到 Ollama？
连接到 EC2 后，执行 ollama 指令进行 model pull，例如 sudo docker exec open-webui ollama pull llama3.2:1b。
