编译程序
·
LM Studio更好用的LLM部署工具以及使用代理的方法
原文中文，约800字，阅读约需2分钟。
📝
内容提要
LM Studio是一款便捷的LLM部署工具，支持huggingface的gguf和mlx格式模型，提供OpenAI兼容API和聊天功能。在Mac M系列上运行良好，但使用Qwen2-VL-7B-Int4模型时内存占用较高。通过替换huggingface链接，可以在国内顺利使用该软件。
🎯
关键要点
-
LM Studio是一款便捷的LLM部署工具，支持huggingface的gguf和mlx格式模型。
-
该软件提供OpenAI兼容API和聊天功能，比Ollama更方便。
-
在Mac M系列上运行良好，但使用Qwen2-VL-7B-Int4模型时内存占用较高，最高可达14G。
-
通过替换huggingface链接，可以在国内顺利使用该软件，使用hf-mirror.com作为镜像。
🏷️
