DEV Community ·

在本地运行Deepseek R1：OpenWebUI + Ollama [家庭实验室]

💡 原文约1600字/词，阅读约需6分钟。

📝

内容提要

本文介绍了如何在Fedora 41 Server上通过Docker和Docker Compose本地运行Deepseek R1模型，包括安装Docker和NVIDIA Container Toolkit，配置Docker Compose以管理多个容器，以及通过Web界面使用Deepseek R1模型并验证GPU使用情况。

🎯

关键要点

本文介绍了如何在Fedora 41 Server上通过Docker和Docker Compose本地运行Deepseek R1模型。
需要安装Docker和NVIDIA Container Toolkit，并配置Docker Compose以管理多个容器。
可以选择使用GPU或CPU进行模型运行，CPU用户可跳过NVIDIA相关步骤。
安装Docker的步骤包括添加Docker CE仓库、安装Docker Engine和启动Docker服务。
为了管理Docker而不使用sudo，需要将用户添加到docker组。
SELinux需要暂时禁用，以避免与NVIDIA容器的兼容性问题。
安装NVIDIA Container Toolkit以支持GPU加速的容器，并进行相应的配置。
Docker Compose用于定义和运行多个Docker容器，用户需创建docker-compose.yaml文件。
配置Ollama AI Backend和OpenWebUI以便通过Web界面管理AI模型。
通过Docker Compose启动容器，并在浏览器中访问Web界面进行模型管理。
从Ollama下载Deepseek R1模型，并通过Web界面使用该模型。
验证GPU使用情况以确保Deepseek R1模型正常运行。

🔎

延伸解读

Docker与GPU的兼容性

在使用NVIDIA GPU时，确保Docker和NVIDIA Container Toolkit的正确安装和配置至关重要。文章提到需要暂时禁用SELinux以避免兼容性问题，这一点在实际操作中不可忽视。用户应了解SELinux的安全性影响，并在完成Docker配置后及时恢复其设置。

CPU与GPU的选择

对于没有GPU的用户，文章提供了通过CPU运行Deepseek R1模型的替代方案。这意味着即使硬件条件有限，用户仍然可以进行本地AI模型的实验和学习。选择CPU运行时，用户可以跳过与NVIDIA相关的步骤，简化安装过程。

Docker Compose的使用

Docker Compose是管理多个容器的强大工具，用户可以通过一个YAML文件定义和启动所有服务。文章中详细说明了如何配置Ollama和OpenWebUI，这对于希望快速搭建AI模型管理环境的用户非常有帮助。掌握Docker Compose的使用可以显著提高工作效率。

❓

延伸问答

如何在Fedora 41 Server上安装Docker？

可以通过添加Docker CE仓库并使用命令'sudo dnf install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin'来安装Docker。

Deepseek R1模型如何在本地运行？

通过Docker和Docker Compose配置多个容器，并使用Ollama下载Deepseek R1模型，然后通过Web界面进行管理。

在使用NVIDIA GPU时需要注意哪些配置？

需要安装NVIDIA Container Toolkit，并在Docker Compose中配置相应的运行时，此外还需暂时禁用SELinux以避免兼容性问题。

如何通过Web界面管理Deepseek R1模型？

在Docker Compose启动容器后，可以通过浏览器访问http://<serverIP>:8080来管理Deepseek R1模型。

如何验证GPU是否正常工作？

可以使用命令'watch -n .1 nvidia-smi'来检查GPU的使用情况，确保Deepseek R1模型正常运行。

Docker Compose的主要功能是什么？

Docker Compose用于定义和运行多个Docker容器，简化了容器的管理和部署过程。

🏷️