Blog - Supabase
·
在 Supabase Edge Functions 中使用 Mozilla Llamafile
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器运行AI推理。Llamafile允许您在本地分发和运行LLMs，无需安装。您可以使用Supabase Edge Functions或OpenAI Deno SDK轻松调用Llamafile服务器。要在本地提供函数，请安装Supabase CLI和Docker Desktop或Orbstack。您可以使用Docker和Fly.io部署Llamafile。开源LLMs目前仅限邀请使用，但Supabase计划扩展对更多模型的支持。
🎯
关键要点
- Supabase Edge Functions现在支持使用Mozilla Llamafile作为推理服务器。
- Llamafile允许在本地分发和运行LLMs，无需安装。
- Supabase Edge Functions与OpenAI API兼容，可以轻松调用Llamafile服务器。
- 要在本地提供函数，需要安装Supabase CLI和Docker Desktop或Orbstack。
- 可以使用Docker和Fly.io部署Llamafile。
- 开源LLMs目前仅限邀请使用，Supabase计划扩展对更多模型的支持。
➡️
