从 AntSK 接入讯飞星火大模型,看如何为 Semantic Kernel 对接无OpenAI接口协议的大模型平台...
内容提要
本文介绍了大模型应用项目AntSK的学习成果,包括接入第三方模型的方法、动态在线配置和数据库改进。作者还讨论了如何让没有Azure服务的人也能启动AntSK,并通过对接讯飞星火的sdk实现了星火的对接。下回作者将讲述如何在AntSK实现本地方法调用,让AI直接驱动真实业务。
延伸解读
降低启动门槛的改进
AntSK 原本需要 Postgre 数据库和 OpenAI 或 llama 配置,对新手不友好。作者与项目作者沟通后,将模型配置改为动态在线配置,数据库默认改为 sqlite,使项目克隆后即可直接运行。这一改动降低了参与开源贡献的初始门槛,让开发者能先跑起来再逐步配置模型。
接入非 OpenAI 协议模型的思路
AntSK 基于 Semantic Kernel,最初只支持 OpenAI 和 llama 本地模型。作者通过研究源码,发现只需实现 ITextExecutionService 和 IAIService 接口,就能对接大模型的对话功能。借助讯飞星火 SDK,作者实现了星火对接,说明通过 SK 接入其他大模型是可行的,关键在于实现对话接口和 SK 相关服务。
对扩展性的观察
作者曾想加入内存模拟模型以降低调试成本,但发现 AntSK 的抽象程度和扩展性不足,对话直接依赖 SK,因此只能从对接 SK 入手。这提示项目在架构上仍有改进空间,未来若想灵活支持多种模型或模拟调试,可能需要进一步提升抽象层次。
Q&A
AntSK项目的主要目标是什么?
AntSK项目旨在让更多人参与开发大模型应用,提供开源解决方案。
如何在AntSK中实现对接讯飞星火的sdk?
通过实现ITextExecutionService和IAIService接口,可以轻松对接讯飞星火的sdk。
AntSK运行需要哪些数据库和服务参数?
AntSK运行需要Postgre数据库和OpenAI服务参数,后期已改为默认sqlite以简化配置。
AntSK如何支持没有Azure服务的用户?
通过对接其他大模型和实现内存模拟模型,AntSK可以支持没有Azure服务的用户。
AntSK项目的开源特性有什么优势?
AntSK的开源特性允许更多开发者参与,促进技术共享和社区贡献。
下次文章将讨论什么内容?
下次将讨论如何在AntSK中实现本地方法调用,让AI直接驱动真实业务。