陈少文的博客 陈少文的博客 ·

大模型部署工具 llama.cpp

💡 原文中文，约10900字，阅读约需26分钟。
📝

内容提要

本文介绍了大模型部署工具llama.cpp的使用方法，包括安装和配置过程，模型量化和运行GGUF模型，以及提供模型的API服务和使用curl和openai进行测试。

🏷️

标签

API服务 cpp llama llama.cpp 大模型 性能问题 模型部署工具 模型量化
➡️

继续阅读

  1. NVIDIA把供应链专家经验训练进模型，关键不是换一个更大模型
    NVIDIA供应链案例表明，专用30B模型经专家决策轨迹训练后，在内部基准上超越更大通用模型。关键在于记录专家决策时的所见、理由与结果，并避免数据泄漏。企...
  2. Agent到底比一次大模型调用多了什么？小白从这张流程图看懂
    Agent并非更聪明的模型，而是模型外加运行支架，用于管理上下文、工具、环境和会话状态。普通调用适合单轮任务，固定工作流适合步骤明确的场景，Agent适合...
  3. AI 智创简报：《端侧小模型专利成簇，私有化部署的工具生意》
    2026年5至8月，Blockchain Labs、微软、奔驰相继公开端侧小模型专利，涉及本地数据签名、边云分层路由和车载模型剪枝，均处于审查阶段。端侧A...
  4. AI 智创简报：《大模型账单瘦身专利成簇，中间件的止血生意》
    2026年多项专利申请显示，在LLM输入前进行“瘦身”成为趋势，包括日志折叠、子句剪枝、动态截断、工具清单最小化等。Token管控从事后记账前移至喂模型前...
  5. 自动驾驶大模型开始统一看懂、建图和规划
    Qwen发布Qwen-Drive-1.0，以Qwen3.5-4B为骨干，外接BEV感知头与规划专家，用流匹配生成未来5秒轨迹，训练数据283万条，驾驶问答...
  6. Open-Source Project Brings Full iOS 27 Virtualization to Apple Silicon
    The open-Source project vphone-cli enables a full iOS 27 system to run as a v...
👤 个人中心
在公众号发送验证码完成验证