Semantic Kernel 通过 LocalAI 集成本地模型

本文介绍了如何使用LLama 2和LocalAI集成Semantic Kernel（SK）和本地大模型。

SK支持多种大模型，主要示例为OpenAI和Azure OpenAI服务的GPT 3.5+。

LocalAI是一个本地推理框架，提供RESTFul API，与OpenAI API规范兼容。

LocalAI允许在消费级硬件上本地或自有服务器上运行LLM，支持多种模型家族。

通过LocalAI将本地部署的大模型转换为OpenAI格式，并使用SK的OpenAI Connector访问。

示例代码展示了如何创建自定义HttpClient以指向LocalAI。

创建C#项目并配置内核构建器以集成LocalAI和OpenAI服务。

使用SK的流式传输功能实现聊天循环，体验实时对话。

示例源代码和参考文章提供了更多信息和部署指导。