本地部署大模型服务
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
从 oMLX 官网下载安装包并运行,选择 Start Server 启动服务,使用浏览器打开管理面板设置 API Key,最后在 Models - Downloader 下载模型。
🎯
关键要点
-
从 oMLX 官网下载安装包并运行安装 oMLX。
-
安装完毕后启动 oMLX,选择 Start Server 启动服务。
-
服务启动后,单击 Admin Panel 从浏览器打开管理面板。
-
初次登录需要设置 API Key。
-
在 Models - Downloader 中可以从 Hugging Face 和 ModelScope 下载模型。
➡️