使用 SemanticKernel 对接 Ollama

使用 SemanticKernel 对接 Ollama

💡 原文中文,约2000字,阅读约需5分钟。
📝

内容提要

本文介绍了如何使用 Microsoft 的 SemanticKernel 框架与 Ollama 聊天服务进行交互。首先需在本地安装 Ollama 服务和模型(如 llama3.1:8b),然后创建 C# 控制台项目并安装相关包。接着配置 Ollama 服务的端点和模型 ID,获取聊天服务,并实现一个简单的聊天循环。最后,运行项目与 Ollama 进行对话。

🎯

关键要点

  • 在本地安装 Ollama 服务和模型 llama3.1:8b。

  • 创建 C# 控制台项目并安装 Microsoft.SemanticKernel 和 Microsoft.SemanticKernel.Connectors.Ollama 包。

  • 配置 Ollama 服务的端点和模型 ID,添加聊天服务。

  • 实现一个简单的聊天循环,读取用户输入并获取 Ollama 的回复。

  • 运行项目与 Ollama 进行对话。

延伸问答

如何在本地安装 Ollama 服务和模型?

在本地安装 Ollama 服务,并安装至少一个模型,如 llama3.1:8b,具体安装步骤请参考以往文章。

使用 SemanticKernel 连接 Ollama 需要哪些步骤?

首先创建 C# 控制台项目,安装 Microsoft.SemanticKernel 和 Microsoft.SemanticKernel.Connectors.Ollama 包,然后配置 Ollama 服务的端点和模型 ID。

如何配置 Ollama 服务的端点和模型 ID?

使用 Uri 设置端点,例如 'http://localhost:11434',并指定模型 ID,如 'llama3.1:8b',然后添加聊天服务。

如何实现与 Ollama 的聊天循环?

通过一个 while 循环读取用户输入,调用聊天服务获取回复,并将消息添加到聊天历史中。

OllamaChatCompletionService 有什么特别之处?

OllamaChatCompletionService 是实验性质的,使用时需手工关闭 SKEXP0070 的警告,不建议用于生产环境。

运行项目后如何与 Ollama 进行对话?

运行项目后,控制台会提示用户输入,用户输入后可以与 Ollama 进行对话,获取实时回复。

🏷️

标签

➡️

继续阅读