C#整合Ollama实现本地LLMs调用
内容提要
本文介绍了开源大语言模型工具Ollama的安装和使用方法，包括下载、运行和管理模型，导入本地模型，以及通过C#编程语言使用Ollama的方法。还介绍了如何使用Semantic Kernel整合Ollama服务。
延伸解读
本地运行大模型的硬件门槛
文章指出，运行7B模型至少需要8GB内存或显存，13B模型至少需要16GB。作者使用AMD Ryzen 7 8845H和32GB内存的笔记本，可以流畅运行13B及以下模型。这说明本地部署大模型对硬件有一定要求，但中端配置已足够体验。如果算力不足，推理速度会变慢，且模型可能产生不准确的回答。
Ollama的两种集成方式对比
文章介绍了通过Ollama原生SDK和Semantic Kernel两种方式集成C#应用。原生SDK直接调用Ollama的API，支持流式对话、多轮对话、function call和嵌入模型，代码示例丰富。Semantic Kernel则利用Ollama兼容OpenAI接口的特性，通过重定向请求地址来使用，适合已熟悉Semantic Kernel的开发者。两者各有优势，选择取决于项目需求和技术栈。
嵌入模型与相似度计算的实际应用
文章演示了使用nomic-embed-text模型将文本转换为向量，并通过余弦相似度计算文本相似性。例如，“C#是一门不错的编程语言”和“C#是很好的语言”相似度高达0.94，而与“我喜欢吃芒果和草莓”相似度仅0.59。这种向量化方法是构建RAG（检索增强生成）和向量数据库的基础，可用于语义搜索、推荐等场景。
多模态与Function Call的实践要点
文章通过llava:13b模型展示了多模态能力，将图片转为base64编码后发送，模型能准确描述图片内容。同时，使用llama3.1:8b演示了function call，模型能自动拆分数学表达式并调用相应方法。但需注意，function call要求模型本身支持，且llama3.1对中文支持较弱。这些功能扩展了本地模型的应用范围，但需根据模型能力选择使用。
Q&A
Ollama是什么？
Ollama是一个开源的大语言模型服务工具，允许用户在本地快速实验、管理和部署大型语言模型。
如何安装Ollama？
Ollama可以通过官网或GitHub下载，安装后可设置环境变量以配置模型下载位置和服务监听端口。
Ollama支持哪些模型？
Ollama支持多种流行的开源大型语言模型，如Llama 3.1、Phi 3、Qwen 2、GLM 4等。
如何通过C#使用Ollama？
可以使用Ollama的C# SDK，通过简单的代码实现对话功能和多轮对话功能。
Ollama的HTTP接口如何调用？
Ollama提供HTTP接口，可以通过/api/generate和/api/embed等接口进行模型调用和特征提取。
Ollama如何支持多模态模型？
Ollama支持多模态模型，能够处理文本、图片、视频等多种格式的输入输出。
