亚当·亨德尔：在Postgres上实现向量数据库的运营
💡
原文英文，约1400词，阅读约需6分钟。
📝
内容提要
为了高效地存储、索引和搜索浮点数组，我们需要向量数据库。生成和搜索嵌入向量的过程需要保持一致性，以确保模型的输出可靠。pg_vectorize解决了这个问题，它跟踪了用于生成嵌入向量的转换模型，并提供了管理转换的方法。pg_vectorize还支持定时和实时更新嵌入向量的方式。它可以使用不同的转换模型生成嵌入向量，并支持OpenAI和Hugging Face的嵌入模型。pg_vectorize是开源的，可在GitHub上获取。
🎯
关键要点
- 向量数据库用于高效存储、索引和搜索浮点数组。
- 生成和搜索嵌入向量的过程需要保持一致性，以确保模型输出可靠。
- pg_vectorize跟踪用于生成嵌入向量的转换模型，并提供管理转换的方法。
- pg_vectorize支持定时和实时更新嵌入向量。
- pg_vectorize可以使用不同的转换模型生成嵌入向量，支持OpenAI和Hugging Face的嵌入模型。
- 生成嵌入的过程不是一次性任务，而是需要持续维护的生命周期。
- 在推理阶段，输入数据需要经过与训练阶段相同的转换。
- pg_vectorize通过跟踪转换模型解决了嵌入生成和搜索的一致性问题。
- pg_vectorize提供两种管理嵌入更新的方法：基于时间的调度和实时触发。
- pg_vectorize支持OpenAI和Hugging Face的所有转换模型，包括私有模型。
- 可以直接通过vectorize.transform_embeddings将文本转换为嵌入。
- pg_vectorize和VectorDB Stack仍在持续改进中，未来将支持更多嵌入模型源。
❓
延伸问答
pg_vectorize是如何解决嵌入向量生成一致性的问题的？
pg_vectorize通过跟踪用于生成嵌入向量的转换模型，确保在生成和搜索嵌入时使用相同的模型和预处理步骤，从而解决了一致性问题。
如何使用pg_vectorize进行实时更新嵌入向量？
pg_vectorize支持两种更新嵌入向量的方法：基于时间的调度和实时触发，用户可以选择适合的方式来管理嵌入更新。
pg_vectorize支持哪些嵌入模型？
pg_vectorize支持OpenAI的所有嵌入模型和Hugging Face的所有句子嵌入模型，包括用户自定义的私有模型。
为什么需要向量数据库？
向量数据库用于高效存储、索引和搜索浮点数组，特别是在处理嵌入向量时，能够提高数据检索的效率和准确性。
如何将文本转换为嵌入？
可以通过调用vectorize.transform_embeddings函数，将文本直接转换为嵌入，指定所需的模型名称。
pg_vectorize的开源代码在哪里可以找到？
pg_vectorize的开源代码可以在GitHub上获取，用户可以自由下载和使用。
➡️
