KDnuggets
·
使用BitNet本地运行小型AI模型：初学者指南
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
BitNet b1.58是微软研究人员开发的低位语言模型，采用三元权重训练，旨在高效运行。文章介绍了在Linux上安装工具、克隆和构建BitNet、下载模型、运行交互式聊天模式及启动本地推理服务器的步骤，用户可通过OpenAI Python SDK连接本地服务器。
🎯
关键要点
- BitNet b1.58是微软研究人员开发的低位语言模型，采用三元权重训练，旨在高效运行。
- 使用标准Transformers库加载BitNet不会自动获得速度和效率的好处，需要使用专门的C++实现bitnet.cpp。
- 安装Linux所需的基本开发工具，包括Clang、CMake和Git。
- 克隆BitNet仓库并创建Python虚拟环境，安装所需的Python依赖。
- 下载轻量级的2B参数BitNet模型，使用Hugging Face CLI进行下载。
- 在CPU上以交互聊天模式运行BitNet，使用命令行界面进行交互。
- 启动本地BitNet推理服务器，使模型可通过浏览器或其他应用程序访问。
- 使用OpenAI Python SDK连接到本地BitNet服务器，像使用云API一样使用本地模型。
- BitNet的设计理念是从根本上提高效率，适合在普通硬件上运行。
❓
延伸问答
BitNet b1.58是什么类型的模型？
BitNet b1.58是微软研究人员开发的低位语言模型，采用三元权重训练，旨在高效运行。
如何在Linux上安装BitNet所需的工具？
需要安装Clang、CMake和Git等基本开发工具，可以使用命令：sudo apt install clang cmake git。
如何下载BitNet模型？
可以使用Hugging Face CLI下载轻量级的2B参数BitNet模型，命令为：hf download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T。
如何在CPU上运行BitNet的交互聊天模式？
使用命令：python run_inference.py -m 'models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf' -p 'You are a helpful assistant.' -cnv。
如何启动本地BitNet推理服务器？
运行命令：python run_inference_server.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf --host 0.0.0.0 --port 8080。
如何使用OpenAI Python SDK连接到本地BitNet服务器？
安装OpenAI包后，创建Python脚本，设置base_url为'http://127.0.0.1:8080/v1'，并调用相应的API。
➡️
