Blog - Supabase
·
Supabase Edge Functions 现已支持 AI 推理
内容提要
Supabase Edge Functions 现在支持运行 AI 模型，用户可以通过简单的 API 生成文本嵌入并进行推理。新功能使用 gte-small 模型生成嵌入，并支持 LLM（如 Llama 和 Mistral）进行人机交互，具有低成本和快速响应的特点，适合开发者使用。
关键要点
-
Supabase Edge Functions 现在支持运行 AI 模型，用户可以通过简单的 API 生成文本嵌入并进行推理。
-
新 API 使用 gte-small 模型生成嵌入，并支持 LLM（如 Llama 和 Mistral）进行人机交互。
-
生成嵌入的过程可以通过数据库 webhooks 自动化，适合开发者使用。
-
嵌入生成使用 ONNX 运行时，支持多种执行提供者，能够在 CPU 上运行。
-
生成嵌入的成本低廉，通常在 1 秒内完成，且 CPU 使用时间少于 200 毫秒。
-
与 OpenAI 的嵌入 API 相比，Supabase Edge Functions 的嵌入生成成本低 10 倍。
-
正在与 Ollama 合作，支持 LLM 模型的本地开发和自托管。
-
目前对开源 LLM 的访问为邀请制，计划扩展对更多模型的支持。
延伸问答
Supabase Edge Functions 如何支持 AI 模型的推理？
Supabase Edge Functions 通过内置 API 支持运行 AI 模型，用户可以用简单的代码生成文本嵌入并进行推理。
生成文本嵌入的成本如何？
生成文本嵌入的成本非常低，通常在 1 秒内完成，且 CPU 使用时间少于 200 毫秒，比 OpenAI 的嵌入 API 便宜 10 倍。
Supabase Edge Functions 支持哪些大型语言模型？
Supabase Edge Functions 目前支持 Llama 和 Mistral 等大型语言模型，并计划扩展对更多模型的支持。
如何自动化生成嵌入？
可以通过数据库 webhooks 自动化生成嵌入，当新行插入数据库表时，嵌入会自动生成。
Supabase Edge Functions 的嵌入生成使用什么技术？
嵌入生成使用 ONNX 运行时，支持多种执行提供者，可以在 CPU 上运行。
如何开始使用 Supabase 的 AI 模型？
可以查看 Supabase 文档，了解如何开始使用 AI 模型和 Edge Functions。
