SemanticKernel/C#：使用Ollama中的对话模型与嵌入模型用于本地离线场景
内容提要
本文介绍了在SemanticKernel/C#中使用Ollama的对话模型与嵌入模型用于本地离线场景的方法。对话模型是gemma2:2b，嵌入模型是all-minilm:latest。使用方法见https://github.com/BLaZeKiLL/Codeblaze.SemanticKernel/tree/main/dotnet/Codeblaze.SemanticKernel.Connectors.Ollama。
关键要点
-
本文介绍了在SemanticKernel/C#中使用Ollama的对话模型与嵌入模型用于本地离线场景的方法。
-
对话模型为gemma2:2b，嵌入模型为all-minilm:latest。
-
Ollama兼容OpenAI Chat Completions API，使得在SemanticKernel中使用对话模型变得简单。
-
使用示例代码展示了如何构建kernel并调用对话模型。
-
Ollama的嵌入模型不兼容OpenAI格式，需要自行实现接口。
-
已有开发者在GitHub上实现了Ollama的嵌入模型接口，提供了相关代码和使用方法。
-
通过构建ISemanticTextMemory，可以使用Ollama的嵌入模型。
-
实践中发现切片大小和相关度设定对效果有重要影响。
-
总结了在使用Ollama的过程中遇到的问题和解决方案。
延伸问答
如何在SemanticKernel/C#中使用Ollama的对话模型？
可以通过创建一个kernel并使用AddOpenAIChatCompletion方法来实现，示例代码为：var kernel = Kernel.CreateBuilder().AddOpenAIChatCompletion(modelId: 'gemma2:2b', apiKey: null, endpoint: new Uri('http://localhost:11434')).Build();
Ollama的嵌入模型与OpenAI格式有什么不同？
Ollama的嵌入模型不兼容OpenAI格式，因此需要自行实现接口来使用。
在使用Ollama的过程中遇到的问题有哪些？
主要问题包括嵌入模型的接口兼容性和切片大小、相关度设定对效果的影响。
如何构建ISemanticTextMemory以使用Ollama的嵌入模型？
可以通过MemoryBuilder构建ISemanticTextMemory，示例代码为：var builder = new MemoryBuilder().WithOllamaTextEmbeddingGeneration('all-minilm:latest', embeddingEndpoint);
在本地离线场景中使用Ollama的优势是什么？
使用Ollama可以在没有网络连接的情况下进行对话和嵌入模型的操作，适合需要离线处理的应用场景。
如何提高Ollama模型的回答效果？
可以通过调整切片大小和相关度设定来提高模型的回答效果，确保设置满足需求。
