想学Semantic Kernel,没有OpenAI接口该怎么办?
内容提要
本文介绍了在没有OpenAI或Azure OpenAI资源的情况下学习和使用Semantic Kernel。作者推荐使用星火大模型作为替代资源,并提供了免费的API额度申请链接。文章还介绍了如何使用one-api将星火大模型的接口转发为openai接口的协议格式,并提供了相应的配置和代码示例。最后,作者分享了Semantic Kernel的学习文档和示例网站,并鼓励读者在星火的指引下探索Semantic Kernel的技术。
延伸解读
星火大模型作为替代方案的可行性
对于无法获取OpenAI或Azure OpenAI资源的开发者,星火大模型提供了一个可行的替代方案。个人用户可申请免费API额度,每个版本提供200万token,总计600万token,无需企业认证。这降低了学习Semantic Kernel的门槛,但需注意星火接口与OpenAI协议不兼容,需通过one-api转发。
使用one-api进行协议转换的步骤
one-api可将星火大模型的接口转发为OpenAI协议格式,使Semantic Kernel能够调用。部署时可采用sqlite的Docker方式,运行命令后服务监听3000端口。配置渠道时选择“讯飞星火认知”,密钥按APPID|APISecret|APIKey格式填写,并创建令牌。之后可通过Postman测试接口连通性。
Semantic Kernel接入星火的代码调整
在Semantic Kernel中,需创建OpenAIHttpClientHandler代理类,重写SendAsync方法,将请求URI重定向到one-api服务地址。注册Kernel时,使用AddOpenAIChatCompletion,并传入自定义HttpClient。注意modelId必须设置为“SparkDesk”,否则可能调用失败。
功能限制与补充方案
星火大模型目前未提供Embedding模型,因此无法直接使用Semantic Kernel的Memory Store功能,仅支持基础Chat。若需Memory Store,可自行部署M3E向量模型,其对资源消耗较低。开发者需根据需求权衡,或结合其他向量化方案。
Q&A
没有OpenAI或Azure OpenAI资源,还能学习Semantic Kernel吗?
可以。文章指出,即使没有OpenAI或Azure OpenAI资源,仍然可以学习和使用Semantic Kernel,推荐使用星火大模型作为替代资源。
星火大模型提供哪些免费额度?个人如何申请?
星火大模型提供1.5、3.0、3.5等多个版本,每个版本个人可领取200万token的学习使用额度,总计600万token。个人用户无需企业认证,通过链接 https://xinghuo.xfyun.cn/sparkapi 即可申请。
如何将星火大模型的接口转换为OpenAI格式供Semantic Kernel使用?
使用one-api进行接口转发。通过docker部署one-api(命令:docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api),然后在one-api中添加渠道,类型选择“讯飞星火认知”,模型选择SparkDesk,秘钥填写APPID|APISecret|APIKey,并创建令牌。
在Semantic Kernel中接入星火大模型需要修改哪些代码?
需要创建一个OpenAIHttpClientHandler代理类,重写SendAsync方法,将请求URI修改为星火大模型的地址。然后在Kernel构建时使用AddOpenAIChatCompletion,传入modelId为SparkDesk、apiKey和自定义的HttpClient。
使用星火大模型时,Semantic Kernel的Memory Store功能是否可用?
不可用。因为星火大模型目前没有提供Embedding模型,所以无法使用Memory Store相关功能,只能使用基础的Chat功能。如果需要Memory Store,可以部署M3E向量模型,其对资源消耗相对较低。
有哪些Semantic Kernel的学习文档和示例资源?
作者将Semantic Kernel相关的学习文档整理到了一个网站,网站内有大量示例。关注公众号发送“SK”即可获取完整学习资料。