Semantic Kernel进阶:多模型的支持
💡
原文中文,约3300字,阅读约需8分钟。
📝
内容提要
Semantic Kernel默认支持OpenAI和AzureOpenAI模型,但开发者希望对接国内的其他模型。可以使用开源项目one-api,支持多种大模型,负载均衡访问多个渠道,支持stream模式和多机部署。one-api支持Docker部署,数据和日志保存在宿主机目录。可以使用OpenAIHttpClientHandler类将请求重定向到one-api。通过one-api的多模型支撑和灵活的部署配置,可以为用户提供更丰富和个性化的服务。
🎯
关键要点
- Semantic Kernel默认支持OpenAI和AzureOpenAI模型,开发者希望对接国内其他模型。
- 可以使用开源项目one-api,支持多种大模型,负载均衡访问多个渠道。
- one-api支持Docker部署,数据和日志保存在宿主机目录。
- 通过one-api可以将其他模型转换为OpenAI的格式,并支持负载均衡和鉴权操作。
- 需要新建OpenAIHttpClientHandler类,将请求重定向到one-api。
- 通过自定义HttpClientHandler,可以将Semantic Kernel的请求重定向到one-api。
- one-api是一个优秀的模型连接器项目,支持多种开源组件对接不同模型。
- 通过one-api的多模型支撑和灵活的部署配置,可以提供更丰富和个性化的服务。
🏷️
标签
➡️