自建AI服务器使用PVE配置显卡直通虚拟机安装驱动、CUDA和cuDNN运行LLM大模型进行AI炼丹

📝

内容提要

随着开源大模型的普及,还有各种大佬开源的程序,AI大模型已经逐渐普及到每个人身边了,很多同学已经可以在本地笔记本上运行大模型了,但是本地笔记本毕竟性能差,而且笔记本还需要干别的活呢,不可能一直运行大模型,我习惯用PVE,所以记录一次我的部署过程,给我未来重复部署留下指南。

🏷️

标签

➡️

继续阅读