.NET Core C#系列之 AI Gateway网关Thor雷神托尔(开发篇)

💡 原文中文,约2500字,阅读约需6分钟。
📝

内容提要

本章介绍了Thor网关的代码实现,指导用户从GitHub下载项目并配置后端和前端。后端使用Visual Studio,前端使用Visual Studio Code,涉及数据库配置、API接口和模型管理。用户需修改appsettings.json以设置数据库连接,前端需配置.env文件。系统支持模型轮询和限流,并提供管理后台和监控功能。

🎯

关键要点

  • 本章介绍Thor网关的代码实现,指导用户从GitHub下载项目并配置后端和前端。

  • 后端使用Visual Studio,前端使用Visual Studio Code,涉及数据库配置、API接口和模型管理。

  • 用户需修改appsettings.json以设置数据库连接,前端需配置.env文件。

  • 系统支持模型轮询和限流,并提供管理后台和监控功能。

  • 后端项目的数据库配置使用sqlite,用户可根据需要修改数据库类型和连接串。

  • 模型映射支持对gpt-4o进行权重轮询,以解决API接口限流问题。

  • API接口包括聊天接口、嵌入接口和图片接口,使用Open AI统一出入参风格。

  • 前端需安装node环境并配置后端URL,启动后可访问管理后台。

  • 管理后台提供模型管理、Token管理和用户管理等功能。

  • 系统监控大模型渠道的可用性,自动禁用不可用模型并轮询其他可用模型。

🔎

延伸解读

后端配置注意事项

在配置Thor网关的后端时,用户需要特别注意appsettings.json文件的修改。默认使用sqlite数据库,若需更换数据库类型,需相应调整DBType和连接串。此外,建议在高并发场景下使用RabbitMQ进行日志异步写入,以提高系统性能。

前端环境配置

前端项目需要安装Node.js环境,并确保使用18+版本。修改.env.example文件为.env是关键步骤,确保后端URL正确配置。若前端启动时出现错误,可能与npm版本有关,需根据提示调整相应的icon或依赖。

模型管理与监控

Thor系统支持对大模型的监控与管理,用户需定期检查模型的可用性。若某个模型不可用,系统会自动禁用并切换到其他可用模型。此外,模型的权重轮询机制能够有效应对API接口的限流问题,提升系统的稳定性。

延伸问答

如何从GitHub下载Thor网关的代码?

访问GitHub地址:https://github.com/AIDotNet/Thor 下载代码到本地。

Thor网关的后端使用什么工具开发?

后端使用Visual Studio进行开发。

如何配置Thor网关的数据库连接?

修改appsettings.json文件中的数据库配置地址,默认使用sqlite。

Thor网关支持哪些API接口?

支持聊天接口、嵌入接口和图片接口,使用Open AI统一出入参风格。

前端如何配置后端URL?

在.env文件中配置后端URL地址,默认端口为5045。

Thor网关如何处理模型的限流问题?

通过模型轮询和权重配置,自动选择可用模型以解决API接口限流问题。

🏷️

标签

➡️

继续阅读