两个开源项目打造自己的大模型聚合平台

两个开源项目打造自己的大模型聚合平台

💡 原文中文,约3000字,阅读约需7分钟。
📝

内容提要

去年6月份付费了Poe.com的年费会员,现觉得不值。发现两个开源项目open-webui和one-api,搭建了比Poe更好用的平台。自建大模型平台方案完美,不需要每年花费1.5k买会员服务,只需按token使用量付费给模型服务商。

Q&A

为什么我不再觉得Poe.com的会员服务值得?

因为同等级模型的价格大幅下降,导致继续支付199美元的年费显得不值。

open-webui和one-api有什么主要功能?

open-webui支持多种模型接入、Docker和Kubernetes安装、Markdown和LaTeX支持等;one-api则将多种模型接口统一封装为OpenAI接口。

如何通过open-webui和one-api节省费用?

自建平台后,只需按token使用量付费给模型服务商,而不再需要每年支付1.5k的会员费用。

open-webui支持哪些模型?

open-webui兼容OpenAI接口,并支持together.ai、firework.ai等多个国外大模型服务商。

one-api如何解决open-webui的限制?

one-api将其他模型接口格式统一封装为OpenAI接口,解决了open-webui不支持某些自定义接口模型的问题。

自建大模型平台需要哪些基本步骤?

需要购买服务器,安装Docker,然后根据各自项目的文档安装open-webui和one-api。

🏷️

标签

➡️

继续阅读