两个开源项目打造自己的大模型聚合平台

两个开源项目打造自己的大模型聚合平台

💡 原文中文,约3000字,阅读约需7分钟。
📝

内容提要

去年6月份付费了Poe.com的年费会员,现觉得不值。发现两个开源项目open-webui和one-api,搭建了比Poe更好用的平台。自建大模型平台方案完美,不需要每年花费1.5k买会员服务,只需按token使用量付费给模型服务商。

🔎

延伸解读

自建平台与订阅制的成本对比

作者曾支付Poe年费199美元(约1.5k人民币),但认为随着同级别模型价格大幅下降,续费已不划算。自建平台后,只需按token使用量向模型服务商付费,无需每年固定支出。作者估算,日常使用国内高性价比模型、偶尔用贵模型,每月花费最多几元,相比订阅制可节省大量费用。

open-webui的功能亮点与局限

open-webui功能丰富,支持Docker/Kubernetes安装、多模型对话、RAG、图像生成等,且prompt管理便捷。但它仅支持OpenAI协议格式的模型,无法直接接入Claude、Gemini、文心一言等自定义接口的模型,智谱GLM系列也因未实现models接口而无法使用。这一局限需通过one-api解决。

one-api如何扩展模型兼容性

one-api作为中间层,将多种模型接口统一封装为OpenAI接口格式,覆盖国内外主流模型,如Claude、Gemini、文心一言、通义千问等。在one-api管理台配置模型和key后,在open-webui中填入one-api地址和key,即可在open-webui中使用这些模型,弥补了open-webui的兼容性短板。

自建方案的实施与成本考量

作者购买阿里云2核4G服务器5年(一次性投入2.6k),用Docker安装open-webui和one-api。此后无需支付会员费,仅按token用量付费。该方案适合愿意投入初始服务器成本、并自行维护的用户,长期使用可显著降低费用,但需考虑服务器运维和模型API的持续支出。

❓

Q&A

为什么我不再觉得Poe.com的会员服务值得?

因为同等级模型的价格大幅下降,导致继续支付199美元的年费显得不值。

open-webui和one-api有什么主要功能?

open-webui支持多种模型接入、Docker和Kubernetes安装、Markdown和LaTeX支持等;one-api则将多种模型接口统一封装为OpenAI接口。

如何通过open-webui和one-api节省费用?

自建平台后,只需按token使用量付费给模型服务商,而不再需要每年支付1.5k的会员费用。

open-webui支持哪些模型?

open-webui兼容OpenAI接口,并支持together.ai、firework.ai等多个国外大模型服务商。

one-api如何解决open-webui的限制?

one-api将其他模型接口格式统一封装为OpenAI接口,解决了open-webui不支持某些自定义接口模型的问题。

自建大模型平台需要哪些基本步骤?

需要购买服务器,安装Docker,然后根据各自项目的文档安装open-webui和one-api。

🏷️

标签

➡️

继续阅读