TrumanDu 博客
·
LLM 模型测试
💡
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
在PowerShell中设置代理后，使用huggingface-cli下载Llama模型并登录获取授权。构建llama.cpp环境，安装依赖并进行验证。将模型转换为gguf格式，放置于指定目录后，使用Ollama加载和运行模型。
🎯
关键要点
-
在PowerShell中设置代理，仅在会话中生效。
-
使用huggingface-cli登录以获取授权，下载Llama模型。
-
构建llama.cpp环境，克隆代码库并安装依赖。
-
验证依赖安装是否正确，确保转换脚本可以正常运行。
-
将模型转换为gguf格式，并放置于指定目录。
-
在LM Studio中识别本地模型，确保模型路径正确。
-
使用Ollama加载和运行模型。
❓
延伸问答
如何在PowerShell中设置代理以下载Llama模型？
在PowerShell中使用命令设置HTTP和HTTPS代理，例如：$env:HTTP_PROXY="http://username:password@xxxx.xxxx.xxxx.xxxx:3030"。
如何使用huggingface-cli下载Llama模型？
首先登录huggingface-cli以获取授权，然后使用命令huggingface-cli download meta-llama/Llama-3.2-1B下载模型。
如何构建llama.cpp环境？
通过克隆代码库、创建conda环境并安装依赖来构建llama.cpp环境，具体命令包括git clone和pip install。
如何验证依赖安装是否正确？
运行命令python convert_hf_to_gguf.py，如果没有错误提示则表示依赖安装正确。
如何将模型转换为gguf格式？
使用命令python convert_hf_to_gguf.py models/Llama-3.2-1B/将模型转换为gguf格式。
如何在LM Studio中识别本地模型？
将编译好的gguf模型放置在C:\Users\用户名\.cache\lm-studio\models\目录下即可识别本地模型。
➡️
