DEV Community
·
用 Ollama？其實你在跑 llama.cpp！學會直接使用它，發揮更強性能！
内容提要
Ollama 允许用户在本地运行大型语言模型，提供模型托管服务。核心技术为 llama.cpp，支持 GGUF 模型格式。指南介绍如何在 Jetson Orin Nano 上编译 llama.cpp、转换 GGUF 模型并进行量化，以提高推理速度和减少内存占用。完成模型准备后即可进行推理。
关键要点
-
Ollama 允许用户在本地运行大型语言模型，提供模型托管服务。
-
核心技术为 llama.cpp，支持 GGUF 模型格式。
-
指南介绍如何在 Jetson Orin Nano 上编译 llama.cpp、转换 GGUF 模型并进行量化。
-
编译 llama.cpp 需要安装必要的依赖项，包括 CUDA 支持、CMake 和 g++ 编译器。
-
下载并编译 llama.cpp 的步骤包括克隆仓库和启用 CUDA 加速。
-
GGUF 模型可以通过 Hugging Face 下载，或使用提供的 Python 脚本自行转换。
-
量化模型可以提高推理速度并减少内存占用，建议尝试多种量化方案。
-
完成模型准备后，可以开始执行推理并加载模型进行对话。
延伸问答
Ollama 是什么？
Ollama 是一个允许用户在本地运行大型语言模型的工具，并提供模型托管服务。
如何在 Jetson Orin Nano 上编译 llama.cpp？
在 Jetson Orin Nano 上编译 llama.cpp 需要安装 CUDA 支持、CMake 和 g++ 编译器，然后克隆仓库并启用 CUDA 加速。
GGUF 模型格式是什么？
GGUF 是由 llama.cpp 的作者开发的模型格式，用于支持大型语言模型的运行。
如何将 Hugging Face 模型转换为 GGUF 格式？
可以使用 llama.cpp 提供的 Python 脚本，将 Hugging Face 模型下载后转换为 GGUF 格式。
量化模型有什么好处？
量化模型可以提高推理速度并减少内存占用，使得原本需要 9G 内存的模型只需 5G 即可运行。
如何开始执行推理？
完成模型准备后，可以使用命令 ./build/bin/llama-cli -m ./models/Phi-4-mini-instruct-q4.gguf 开始执行推理。
