在 Supabase Edge Functions 中使用 Mozilla Llamafile
内容提要
Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器运行AI推理。Llamafile允许您在本地分发和运行LLMs，无需安装。您可以使用Supabase Edge Functions或OpenAI Deno SDK轻松调用Llamafile服务器。要在本地提供函数，请安装Supabase CLI和Docker Desktop或Orbstack。您可以使用Docker和Fly.io部署Llamafile。开源LLMs目前仅限邀请使用，但Supabase计划扩展对更多模型的支持。
延伸解读
本地推理的便捷性
Mozilla Llamafile 将模型和运行环境打包为单个文件，无需安装即可在多数电脑上本地运行。这降低了本地部署 LLM 的门槛，适合快速测试和开发。结合 Supabase Edge Functions，开发者能轻松调用本地推理服务器，无需依赖云端 GPU，节省成本并提高数据隐私。
两种调用方式对比
文章展示了两种调用 Llamafile 的方法：使用 Supabase 的 functions-js 库，或使用 OpenAI Deno SDK。前者通过设置 AI_INFERENCE_API_HOST 和 mode 为 'openaicompatible' 直接集成；后者利用 Llamafile 的 OpenAI 兼容 API，需设置 OPENAI_BASE_URL 和 OPENAI_API_KEY。两种方式都支持流式输出，开发者可根据项目习惯选择。
部署与本地开发要求
本地运行 Supabase Edge Functions 需要安装 Supabase CLI 和 Docker Desktop 或 Orbstack。部署 Llamafile 可参考 Docker 团队的容器化指南，并托管到 Fly.io 等服务。之后通过 supabase secrets set 设置环境变量，再部署函数即可。这为生产环境提供了可扩展的路径。
当前限制与未来计划
Supabase 托管的开源 LLM 目前仅限邀请使用，以管理 GPU 实例需求。官方计划扩展对更多模型的支持，并考虑支持微调模型。开发者可反馈希望支持的模型。这意味着现阶段若想使用托管服务，需申请早期访问，但本地部署方案已可用。
Q&A
Supabase Edge Functions如何与Mozilla Llamafile集成？
Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器，可以通过OpenAI API兼容模式轻松调用Llamafile服务器。
如何在本地运行Supabase Edge Functions？
要在本地运行Supabase Edge Functions，需要安装Supabase CLI和Docker Desktop或Orbstack，然后使用命令'supabase start'和'supabase functions serve'来启动。
Llamafile的主要功能是什么？
Llamafile允许用户在本地分发和运行大型语言模型（LLMs），并提供一个无需安装的单文件解决方案。
如何使用Docker部署Llamafile？
可以通过Docker将Llamafile容器化，并使用Fly.io等服务进行部署。
Supabase计划如何扩展对LLMs的支持？
Supabase计划扩展对更多开源LLMs的支持，目前这些模型的访问仅限于邀请使用。
如何调用Llamafile服务器？
可以通过设置环境变量AI_INFERENCE_API_HOST并使用Supabase Edge Functions中的@supabase/functions-js来调用Llamafile服务器。
