Greg Richardson：pgvector：维度越少越好

嵌入是AI应用中确定语义相似性的核心工具。

Supabase支持使用pgvector扩展在Postgres中存储嵌入。

pgvector提供了向量数据类型和三种距离度量方法：内积、余弦距离和欧几里得距离。

pgvector通过索引解决相似性查询的性能问题，目前支持IVF索引，未来将支持HNSW索引。

98%的客户使用OpenAI的text-embedding-ada-002模型生成文本嵌入，该模型具有1536个维度。

较大的向量会导致存储和计算成本增加，1M个向量的原始数据可达11GB。

在实际应用中，索引可以将距离计算的数量从100%减少到5-20%。

Hugging Face对文本嵌入模型进行了基准测试，比较了多种模型的性能。

模型的维度大小与性能之间没有明显的相关性，较小维度的模型在某些任务上表现良好。

较少的维度可以提高查询速度和减少内存占用。

选择嵌入模型时需考虑相似性性能、模型大小、序列长度、维度大小和语言支持等因素。

使用较低维度的嵌入模型可以改善开发者在pgvector上面临的挑战。

使用替代嵌入模型不会影响使用OpenAI进行文本或聊天生成的能力。

降维技术如PCA和t-SNE可能会导致重要语义信息的丢失，风险需谨慎考虑。

Supabase正在努力简化使用开源、高性能、低维度嵌入模型生成嵌入的过程。