DEV Community
·
释放人工智能的力量：在自己的云服务器上运行大型语言模型（Digital Ocean）
内容提要
本文介绍了如何在DigitalOcean云服务器上设置和运行大型语言模型Ollama，以提高隐私、安全性和定制化。教程涵盖创建Droplet、连接服务器、安装Ollama及运行模型，并使用PM2确保Ollama持续运行，便于后续交互和开发。
关键要点
-
本文介绍了如何在DigitalOcean云服务器上设置和运行大型语言模型Ollama。
-
运行自己的LLM可以获得完全控制、增强隐私和数据安全、定制化的可能性，以及长期使用的成本效益。
-
设置云服务器的步骤包括创建DigitalOcean账户、选择Droplet配置、选择适当资源、设置身份验证和启动Droplet。
-
通过SSH连接到Droplet，使用命令ssh root@your_droplet_ip_address。
-
安装Ollama的命令为curl -fsSL <https://ollama.com/install.sh> | sh。
-
运行Ollama后，可以通过输入提示与模型互动，例如询问'为什么天空是蓝色的'。
-
Ollama默认在11434端口作为服务器运行，可以通过http://localhost:11434访问。
-
使用PM2确保Ollama持续运行，安装PM2的命令为npm install pm2 -g。
-
使用命令pm2 start 'ollama serve' -n <name>启动Ollama服务器，并确保PM2在系统重启时启动。
-
设置和运行自己的LLM为AI实验和开发开辟了新的可能性，可以探索不同模型、微调模型或创建自己的AI应用。
延伸解读
自主控制与隐私保护
在自己的云服务器上运行大型语言模型（LLM）如Ollama，用户可以完全控制模型的行为和数据。这种自主性不仅增强了隐私保护，还能避免将敏感数据上传至第三方平台的风险，适合对数据安全有高要求的用户。
长期使用的成本效益
虽然初期设置云服务器和安装Ollama可能需要一定的技术投入，但从长期来看，运行自己的LLM可以降低使用成本，尤其是在频繁调用模型的情况下。用户应考虑其使用频率和需求，以评估是否值得投资。
技术要求与资源配置
设置Ollama需要一定的技术基础，尤其是在选择Droplet配置和资源时。建议至少选择8GB RAM的配置，以确保模型的流畅运行。用户在设置过程中应仔细评估自己的技术能力和资源需求，以避免后续的性能问题。
延伸问答
如何在DigitalOcean上设置和运行Ollama？
首先创建DigitalOcean账户，选择Droplet配置，设置身份验证并启动Droplet。然后通过SSH连接到Droplet，安装Ollama并运行模型。
运行自己的大型语言模型有什么好处？
运行自己的LLM可以获得完全控制、增强隐私和数据安全、定制化的可能性，以及长期使用的成本效益。
如何确保Ollama在服务器上持续运行？
可以使用PM2来确保Ollama持续运行，安装PM2后使用命令'pm2 start "ollama serve" -n <name>'启动Ollama服务器。
如何通过SSH连接到DigitalOcean的Droplet？
使用命令'ssh root@your_droplet_ip_address'连接到Droplet。
Ollama默认在哪个端口运行？
Ollama默认在11434端口作为服务器运行，可以通过http://localhost:11434访问。
如何安装Ollama？
安装Ollama的命令为'curl -fsSL <https://ollama.com/install.sh> | sh'。
