Semantic Kernel进阶:多模型的支持

💡 原文中文,约3300字,阅读约需8分钟。
📝

内容提要

Semantic Kernel默认支持OpenAI和AzureOpenAI模型,但开发者希望对接国内的其他模型。可以使用开源项目one-api,支持多种大模型,负载均衡访问多个渠道,支持stream模式和多机部署。one-api支持Docker部署,数据和日志保存在宿主机目录。可以使用OpenAIHttpClientHandler类将请求重定向到one-api。通过one-api的多模型支撑和灵活的部署配置,可以为用户提供更丰富和个性化的服务。

🎯

关键要点

  • Semantic Kernel默认支持OpenAI和AzureOpenAI模型,开发者希望对接国内其他模型。
  • 可以使用开源项目one-api,支持多种大模型,负载均衡访问多个渠道。
  • one-api支持Docker部署,数据和日志保存在宿主机目录。
  • 通过one-api可以将其他模型转换为OpenAI的格式,并支持负载均衡和鉴权操作。
  • 需要新建OpenAIHttpClientHandler类,将请求重定向到one-api。
  • 通过自定义HttpClientHandler,可以将Semantic Kernel的请求重定向到one-api。
  • one-api是一个优秀的模型连接器项目,支持多种开源组件对接不同模型。
  • 通过one-api的多模型支撑和灵活的部署配置,可以提供更丰富和个性化的服务。
➡️

继续阅读