如何在边缘设备上开始运行小型语言模型
内容提要
本文介绍了联邦语言模型的概念，使用云端的大型语言模型（LLM）和边缘设备上的小型语言模型（SLM）。作者使用Nvidia的Jetson Orin开发套件作为边缘设备，配置了轻量级模型服务器Ollama，利用GPU加速来加快Phi-3的推理速度。
延伸解读
联邦语言模型：云端与边缘的协同
文章开篇提出联邦语言模型概念，即结合云端大型语言模型（LLM）和边缘设备上的小型语言模型（SLM）。这种架构旨在让边缘设备能够基于本地工具提供的上下文响应用户查询，同时可能利用云端的强大能力。作者选择Nvidia Jetson Orin开发套件作为边缘设备，运行SLM如Microsoft Phi-3，作为构建联邦语言模型的关键步骤。
Jetson AGX Orin开发套件：强大的边缘AI平台
Nvidia Jetson AGX Orin开发套件提供高达275 TOPS的AI性能，是前代Jetson AGX Xavier的8倍。它搭载Nvidia Ampere架构GPU（2048个CUDA核心和64个Tensor核心）和12核Arm Cortex-A78AE CPU，支持32GB或64GB内存，功耗配置15W至50W。该套件能模拟所有Jetson Orin模块的性能和功耗特性，适用于机器人、制造、物流、医疗和智慧城市等领域的先进边缘AI应用。
在Jetson上部署Ollama与Phi-3的实践要点
文章详细介绍了在Jetson AGX Orin上配置Ollama和运行Phi-3的步骤。首先安装Ollama客户端，然后通过Docker容器运行Ollama推理服务器，使用Nvidia运行时和主机网络，避免GPU访问问题。服务器监听11434端口，提供OpenAI兼容的REST端点。接着拉取并运行Phi-3 mini模型（3.8B参数，4K上下文），并通过OpenAI Python客户端与模型交互。使用jtop命令可监控GPU消耗。
Phi-3小型语言模型：高效与可访问
Microsoft Phi-3系列包括3.8B、7B和14B参数的模型，其中Phi-3-mini（3.8B）已可用。这些模型采用Transformer解码器架构，默认上下文长度为4K tokens，长上下文版本可扩展至128K tokens。Phi-3专为效率和可访问性设计，适合在资源受限的边缘设备和智能手机上部署。本教程使用4K版本的Phi-3 mini，展示了其在边缘设备上的运行潜力。
Q&A
什么是联邦语言模型？
联邦语言模型结合了云端的大型语言模型（LLM）和边缘设备上的小型语言模型（SLM），以提高响应效率。
如何在Nvidia Jetson Orin上配置Ollama？
可以通过下载Ollama客户端并使用Docker容器运行Ollama推理服务器来配置Ollama。
Jetson AGX Orin开发套件的主要特点是什么？
Jetson AGX Orin开发套件具有高达275 TOPS的AI性能，支持多种AI推理管道，适合边缘AI应用。
Microsoft的Phi-3小型语言模型有什么优势？
Phi-3小型语言模型高效且易于访问，适合在资源受限的边缘设备上部署。
如何通过Jupyter Notebook访问Phi-3模型？
可以使用OpenAI Python客户端，通过Ollama提供的API端点与Phi-3模型进行交互。
Jetpack 6.0包含哪些重要组件？
Jetpack 6.0包含Docker和Nvidia Container Toolkit等重要组件，支持边缘设备的开发。
