两个开源项目打造自己的大模型聚合平台

两个开源项目打造自己的大模型聚合平台

💡 原文中文,约3000字,阅读约需7分钟。
📝

内容提要

去年6月份付费了Poe.com的年费会员,现觉得不值。发现两个开源项目open-webui和one-api,搭建了比Poe更好用的平台。自建大模型平台方案完美,不需要每年花费1.5k买会员服务,只需按token使用量付费给模型服务商。

🎯

关键要点

  • 去年6月份付费Poe.com年费会员,花费199美元,约合人民币1.5k。
  • 起初觉得Poe会员值,但现在觉得不值,因同等级模型价格下降。
  • 发现两个开源项目open-webui和one-api,搭建了更好用的平台。
  • open-webui兼容多种模型,功能强大,支持Docker和Kubernetes安装。
  • open-webui支持多种API集成,提供丰富的功能如管道插件、响应式设计等。
  • open-webui支持Markdown和LaTeX,具备模型构建器和RAG集成等功能。
  • open-webui的prompt管理功能便捷,支持快速启动特定的prompt。
  • open-webui不支持某些自定义接口模型,但one-api可以解决这个问题。
  • one-api将多种模型接口统一封装为OpenAI接口,支持多种模型。
  • 通过one-api和open-webui的结合,可以使用各种大模型,节省费用。
  • 自建平台后,每年不再需要花费1.5k买Poe会员,只需按token使用量付费。
➡️

继续阅读