SemanticKernel/C#：使用Ollama中的对话模型与嵌入模型用于本地离线场景
💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
本文介绍了在SemanticKernel/C#中使用Ollama的对话模型与嵌入模型用于本地离线场景的方法。对话模型是gemma2:2b，嵌入模型是all-minilm:latest。使用方法见https://github.com/BLaZeKiLL/Codeblaze.SemanticKernel/tree/main/dotnet/Codeblaze.SemanticKernel.Connectors.Ollama。
🎯
关键要点
- 本文介绍了在SemanticKernel/C#中使用Ollama的对话模型与嵌入模型用于本地离线场景的方法。
- 对话模型为gemma2:2b，嵌入模型为all-minilm:latest。
- Ollama兼容OpenAI Chat Completions API，使得在SemanticKernel中使用对话模型变得简单。
- 使用示例代码展示了如何构建kernel并调用对话模型。
- Ollama的嵌入模型不兼容OpenAI格式，需要自行实现接口。
- 已有开发者在GitHub上实现了Ollama的嵌入模型接口，提供了相关代码和使用方法。
- 通过构建ISemanticTextMemory，可以使用Ollama的嵌入模型。
- 实践中发现切片大小和相关度设定对效果有重要影响。
- 总结了在使用Ollama的过程中遇到的问题和解决方案。
➡️
