亚马逊AWS官方博客
·
一键部署 Ollama 与 OpenWebUI 至 Amazon EC2
内容提要
本文介绍如何在 Amazon EC2 实例上快速部署 Ollama 和 OpenWebUI，以创建本地大语言模型环境。用户需拥有有效的 AWS 账户，选择合适的镜像并完成实例配置，系统将自动安装所需软件。部署后可通过公网 IP 访问 Web 界面，适合开发测试和模型交互。
关键要点
-
本文介绍如何在 Amazon EC2 实例上快速部署 Ollama 和 OpenWebUI。
-
Ollama 是本地化的大语言模型运行平台，支持多种开源模型，启动快、资源占用低。
-
OpenWebUI 是兼容 Ollama 的开源图形界面，提供用户友好的模型交互体验。
-
部署前提是拥有有效的 AWS 账户，使用 GPU 实例需申请配额。
-
部署步骤包括点击部署链接、选择镜像、完成实例配置和等待部署完成。
-
选择合适的操作系统和镜像 ID，建议选择具备足够计算资源的实例类型。
-
系统将自动安装并配置 Ollama 和 OpenWebUI，完成后可通过公网 IP 访问 Web 界面。
-
用户可通过 ollama 指令增加更多模型，适用于开发测试和模型交互。
-
该方案可在数分钟内完成自动化部署，适合快速搭建本地推理环境。
延伸解读
部署前的准备工作
在开始部署 Ollama 和 OpenWebUI 之前，确保您拥有有效的 AWS 账户，并了解 GPU 实例的配额申请流程。如果需要使用 GPU，建议提前申请配额，以免在部署过程中遇到障碍。
选择合适的镜像
选择操作系统和镜像时，需根据具体需求进行选择。不同的镜像支持不同的功能，例如 GPU 支持与否。建议优先选择 Amazon Linux 2023 作为 GPU 环境的基础，以确保兼容性和性能。
访问 Web 界面的注意事项
部署完成后，用户可以通过分配的公网 IP 访问 Web 界面。请注意，确保安全组设置允许访问所需端口（如 13638），以便顺利进行模型交互和测试。
延伸问答
如何在 Amazon EC2 上部署 Ollama 和 OpenWebUI？
用户需拥有有效的 AWS 账户，点击部署链接，选择合适的镜像，完成实例配置，系统将自动安装所需软件。
Ollama 是什么？
Ollama 是一个本地化的大语言模型运行平台，支持多种开源模型，启动快且资源占用低。
部署 Ollama 和 OpenWebUI 需要哪些前提条件？
需要拥有有效的 AWS 账户，若使用 GPU 实例需申请相应配额。
如何选择适合的镜像进行部署？
根据需求选择操作系统及是否支持 GPU，建议选择具备足够计算资源的实例类型。
部署完成后如何访问 Web 界面？
可通过分配的公网 IP 和端口 13638 访问 Web 界面，例如 http://xx.xx.xx.xx:13638。
如何增加更多模型到 Ollama？
连接到 EC2 后，执行 ollama 指令进行 model pull，例如 sudo docker exec open-webui ollama pull llama3.2:1b。
