PlanetScale - Blog
·
超越RAM的关系数据库向量索引
💡
原文英文，约7400词，阅读约需27分钟。
📝
内容提要
随着现代嵌入模型的发展，向MySQL添加向量索引面临挑战。现有研究多集中于内存数据结构，而关系数据库需处理更大数据集。我们设计了一种混合向量索引，结合内存与磁盘存储，确保在高性能和高召回率下持续更新索引。通过优化插入、合并和重新分配操作，我们的实现满足了用户对关系数据库索引的一致性期望。
🎯
关键要点
- 现代嵌入模型的发展使得向MySQL添加向量索引面临挑战。
- 现有研究多集中于内存数据结构，而关系数据库需处理更大数据集。
- 设计了一种混合向量索引，结合内存与磁盘存储，确保高性能和高召回率。
- HNSW是一种行业标准的图形数据结构，适用于高效的近似最近邻搜索。
- HNSW在内存中表现优异，但在关系数据库中面临技术限制。
- 实现了支持大于RAM的向量索引，以满足用户期望。
- 混合向量索引由内存中的HNSW索引和磁盘上的发布列表组成。
- 通过随机采样构建头索引，确保内存使用效率。
- 设计了增量操作以保持索引的实时更新和高召回率。
- 引入了分裂、重新分配和合并操作以维护索引性能。
- 使用版本控制来标记过时向量，优化删除操作。
- 维护操作确保索引在高负载下仍能保持性能和一致性。
- 该混合向量索引在可扩展性和性能之间达成了良好的平衡。
❓
延伸问答
向MySQL添加向量索引面临哪些挑战？
向MySQL添加向量索引面临的挑战包括现有研究主要集中于内存数据结构，而关系数据库需要处理更大的数据集，以及如何在高性能和高召回率下持续更新索引。
什么是混合向量索引，它是如何工作的？
混合向量索引结合了内存中的HNSW索引和磁盘上的发布列表，确保在高性能和高召回率下持续更新索引。
HNSW数据结构在向量索引中有什么优势？
HNSW数据结构具有良好的性能和召回率，易于实现和维护，适用于高效的近似最近邻搜索。
如何确保向量索引在高负载下的性能和一致性？
通过设计增量操作、分裂、重新分配和合并操作来维护索引性能，确保在高负载下仍能保持性能和一致性。
向量索引的更新操作是如何设计的？
更新操作通过在头索引上执行近似最近邻搜索，找到适合的发布列表，并将新向量插入到这些列表中。
混合向量索引如何平衡可扩展性和性能？
混合向量索引通过将80%的向量数据存储为发布列表，只有20%保留在内存中，从而在可扩展性和性能之间达成平衡。
➡️
