陈少文的博客 · 2023-09-05T00:00:00Z 大模型部署工具 llama.cpp 💡 原文中文，约10900字，阅读约需26分钟。 📝 内容提要 本文介绍了大模型部署工具llama.cpp的使用方法，包括安装和配置过程，模型量化和运行GGUF模型，以及提供模型的API服务和使用curl和openai进行测试。 🏷️ 标签 API服务 cpp llama llama.cpp 大模型 性能问题 模型部署工具 模型量化 阅读原文 生成长图 分享链接 已复制链接
