DEV Community
·
释放人工智能的力量：在自己的云服务器上运行大型语言模型（Digital Ocean）
内容提要
本文介绍了如何在DigitalOcean云服务器上设置和运行大型语言模型Ollama，以提高隐私、安全性和定制化。教程涵盖创建Droplet、连接服务器、安装Ollama及运行模型，并使用PM2确保Ollama持续运行，便于后续交互和开发。
关键要点
-
本文介绍了如何在DigitalOcean云服务器上设置和运行大型语言模型Ollama。
-
运行自己的LLM可以获得完全控制、增强隐私和数据安全、定制化的可能性，以及长期使用的成本效益。
-
设置云服务器的步骤包括创建DigitalOcean账户、选择Droplet配置、选择适当资源、设置身份验证和启动Droplet。
-
通过SSH连接到Droplet，使用命令ssh root@your_droplet_ip_address。
-
安装Ollama的命令为curl -fsSL <https://ollama.com/install.sh> | sh。
-
运行Ollama后，可以通过输入提示与模型互动，例如询问'为什么天空是蓝色的'。
-
Ollama默认在11434端口作为服务器运行，可以通过http://localhost:11434访问。
-
使用PM2确保Ollama持续运行，安装PM2的命令为npm install pm2 -g。
-
使用命令pm2 start 'ollama serve' -n <name>启动Ollama服务器，并确保PM2在系统重启时启动。
-
设置和运行自己的LLM为AI实验和开发开辟了新的可能性，可以探索不同模型、微调模型或创建自己的AI应用。
延伸问答
如何在DigitalOcean上设置和运行Ollama？
首先创建DigitalOcean账户，选择Droplet配置，设置身份验证并启动Droplet。然后通过SSH连接到Droplet，安装Ollama并运行模型。
运行自己的大型语言模型有什么好处？
运行自己的LLM可以获得完全控制、增强隐私和数据安全、定制化的可能性，以及长期使用的成本效益。
如何确保Ollama在服务器上持续运行？
可以使用PM2来确保Ollama持续运行，安装PM2后使用命令'pm2 start "ollama serve" -n <name>'启动Ollama服务器。
如何通过SSH连接到DigitalOcean的Droplet？
使用命令'ssh root@your_droplet_ip_address'连接到Droplet。
Ollama默认在哪个端口运行？
Ollama默认在11434端口作为服务器运行，可以通过http://localhost:11434访问。
如何安装Ollama？
安装Ollama的命令为'curl -fsSL <https://ollama.com/install.sh> | sh'。
