使用 C# 和 ONNX 來玩转Phi-3 SLM
内容提要
本文介绍了使用C#和ONNX来玩转Phi-3 SLM LLM的方法，Phi-3 SLM是由Microsoft开发的模型，可以在普通设备上运行。ONNX是一个开放的标准，用于操作机器学习模型，并在不同的框架间进行互操作。文章还介绍了如何下载LLM模型和使用ONNX模型的示例控制台应用程序。最后，提到了使用Phi-3和Phi-3 Vision进行问答和图像分析的示例项目。
延伸解读
Phi-3 SLM 的定位与优势
Phi-3 是微软推出的小型语言模型，强调在语言理解、推理、数学和编程等能力上取得平衡，使其能在普通设备如电脑、手机上运行。与大型语言模型相比，Phi-3 对硬件要求更低，适合本地部署。同时，Phi-3 针对 ONNX Runtime 进行了优化，支持 Windows 和跨平台，甚至针对 NVIDIA GPU 优化，提升了灵活性和可移植性。
ONNX Runtime 套件选择指南
对于 C# 开发者，ONNX Runtime 提供了多个 NuGet 套件：Microsoft.ML.OnnxRuntimeGenAI 是核心套件，支持 CPU 并可扩展硬件加速；Managed 版本完全托管，适合纯 .NET 环境；Cuda 版本针对 NVIDIA GPU 加速；DirectML 版本利用 DirectML API，适用于 Windows 平台并支持多种 GPU。选择取决于应用场景和硬件设置：无 GPU 需求可选 Managed，需要 GPU 加速则选 Cuda 或 DirectML。
模型下载与上下文长度选择
Phi-3 模型可从 HuggingFace 下载，包括 Phi-3-mini、Phi-3-small 和 Phi-3-medium 等版本。模型名称中的 4k、8k、128k 表示支持的上下文 Token 长度：4k 模型资源需求较少，128k 模型支持更长上下文但需要更多资源。下载前需安装 git-lfs，然后使用 git clone 命令获取模型。开发者应根据设备资源和应用需求选择合适的模型版本。
中文处理能力与优化方向
根据文章测试，Phi-3 在英文对话中表现良好，但处理中文时会出现一些不预期的状况。这主要是因为 SLM 模型通常以英文作为训练材料，导致中文处理能力相对较弱。文章建议未来可通过 Fine-tuning 来提升中文处理能力，但需要进一步研究。对于中文应用场景，开发者需注意这一限制，并考虑相应的优化措施。
Q&A
Phi-3 SLM是什么？
Phi-3 SLM是由Microsoft开发的小型语言模型，能够在普通设备上运行，强调语言理解和推理能力。
如何在C#中使用ONNX模型？
在C#中使用ONNX模型的主要步骤包括加载模型、设定提示和生成响应。
ONNX的主要功能是什么？
ONNX是一个开放标准，用于操作机器学习模型，支持不同框架间的互操作性和可移植性。
如何下载Phi-3模型？
可以从HuggingFace下载不同版本的Phi-3模型，使用git指令进行下载。
C#开发人员使用ONNX时有哪些库可用？
C#开发人员可以使用Microsoft.ML.OnnxRuntime等库来处理ONNX模型。
Phi-3模型在中文处理上有什么限制？
Phi-3模型在中文处理上表现不如英文，可能需要通过Fine-tuning来提升能力。
