原文中文,约800字,阅读约需2分钟。
📝
内容提要
LM Studio是一款便捷的LLM部署工具,支持huggingface的gguf和mlx格式模型,提供OpenAI兼容API和聊天功能。在Mac M系列上运行良好,但使用Qwen2-VL-7B-Int4模型时内存占用较高。通过替换huggingface链接,可以在国内顺利使用该软件。
🏷️