Supabase Edge Functions 现已支持 AI 推理
内容提要
Supabase Edge Functions 现在支持运行 AI 模型，用户可以通过简单的 API 生成文本嵌入并进行推理。新功能使用 gte-small 模型生成嵌入，并支持 LLM（如 Llama 和 Mistral）进行人机交互，具有低成本和快速响应的特点，适合开发者使用。
延伸解读
嵌入生成的技术优化
Supabase Edge Functions 使用 ONNX 运行时生成嵌入，并通过 Rust 接口调用 Ort 库，避免了 WASM 模块的冷启动延迟。嵌入生成在 CPU 上运行，通常耗时不到 1 秒，CPU 使用时间在 100-200 毫秒之间，适合作为后台任务处理。
成本优势与性能对比
与 OpenAI 的嵌入 API 相比，Supabase Edge Functions 的嵌入生成成本低 10 倍。例如，gte-small 模型在 MTEB 排行榜上的平均得分为 61.36，接近 OpenAI text-embedding-3-small 的 62.26，且维度更少，搜索速度更快。
LLM 支持的现状与限制
目前对开源 LLM（如 Llama 和 Mistral）的支持处于实验阶段，访问为邀请制，因为 GPU 资源有限。这些模型通过 GPU 加速的 Ollama 服务器运行，适合需要人机交互的场景，但尚未全面开放。
自动化嵌入生成流程
开发者可以利用数据库 webhooks，在向表中插入新行时自动触发 Edge Functions 生成嵌入，从而将计算密集型任务从数据库卸载到后台工作线程。这简化了集成 pgvector 的语义搜索应用的开发。
Q&A
Supabase Edge Functions 如何支持 AI 模型的推理？
Supabase Edge Functions 通过内置 API 支持运行 AI 模型，用户可以用简单的代码生成文本嵌入并进行推理。
生成文本嵌入的成本如何？
生成文本嵌入的成本非常低，通常在 1 秒内完成，且 CPU 使用时间少于 200 毫秒，比 OpenAI 的嵌入 API 便宜 10 倍。
Supabase Edge Functions 支持哪些大型语言模型？
Supabase Edge Functions 目前支持 Llama 和 Mistral 等大型语言模型，并计划扩展对更多模型的支持。
如何自动化生成嵌入？
可以通过数据库 webhooks 自动化生成嵌入，当新行插入数据库表时，嵌入会自动生成。
Supabase Edge Functions 的嵌入生成使用什么技术？
嵌入生成使用 ONNX 运行时，支持多种执行提供者，可以在 CPU 上运行。
如何开始使用 Supabase 的 AI 模型？
可以查看 Supabase 文档，了解如何开始使用 AI 模型和 Edge Functions。
