Blog - Supabase
·
在 Supabase Edge Functions 中使用 Mozilla Llamafile
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器运行AI推理。Llamafile允许您在本地分发和运行LLMs，无需安装。您可以使用Supabase Edge Functions或OpenAI Deno SDK轻松调用Llamafile服务器。要在本地提供函数，请安装Supabase CLI和Docker Desktop或Orbstack。您可以使用Docker和Fly.io部署Llamafile。开源LLMs目前仅限邀请使用，但Supabase计划扩展对更多模型的支持。
🎯
关键要点
- Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器。
- Llamafile允许在本地分发和运行LLMs，无需安装。
- Supabase Edge Functions与OpenAI API兼容，可以轻松调用Llamafile服务器。
- 要在本地提供函数，需要安装Supabase CLI和Docker Desktop或Orbstack。
- 可以使用Docker和Fly.io部署Llamafile。
- 开源LLMs目前仅限邀请使用，Supabase计划扩展对更多模型的支持。
❓
延伸问答
Supabase Edge Functions如何与Mozilla Llamafile集成？
Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器，可以通过OpenAI API兼容模式轻松调用Llamafile服务器。
如何在本地运行Supabase Edge Functions？
要在本地运行Supabase Edge Functions，需要安装Supabase CLI和Docker Desktop或Orbstack，然后使用命令'supabase start'和'supabase functions serve'来启动。
Llamafile的主要功能是什么？
Llamafile允许用户在本地分发和运行大型语言模型（LLMs），并提供一个无需安装的单文件解决方案。
如何使用Docker部署Llamafile？
可以通过Docker将Llamafile容器化，并使用Fly.io等服务进行部署。
Supabase计划如何扩展对LLMs的支持？
Supabase计划扩展对更多开源LLMs的支持，目前这些模型的访问仅限于邀请使用。
如何调用Llamafile服务器？
可以通过设置环境变量AI_INFERENCE_API_HOST并使用Supabase Edge Functions中的@supabase/functions-js来调用Llamafile服务器。
➡️
