赛马布·塔里克：理解 pgvector 中的索引
内容提要
本文介绍了pgvector中的两种索引类型：IVFFLAT和HNSW，它们分别通过聚类和Navigable Small World Graphs的概念来提高查询性能。文章比较了这两种索引在搜索速度和准确性方面的差异，并提供了创建和重建索引的方法。通过实例测试了使用这两种索引的性能改进。
延伸解读
索引选择：IVFFLAT 与 HNSW 的权衡
IVFFLAT 构建速度快、占用空间小，但需要足够数据才能创建，且搜索时可能遗漏精确近邻；HNSW 查询性能更好，但构建慢、内存占用高，且无需训练即可创建。选择时需根据数据量、更新频率、内存限制和召回率要求权衡。
参数调优对搜索质量的影响
IVFFLAT 的 lists 和 probes 参数影响搜索速度与召回率：lists 过多可能降低召回，probes 增加可提高召回但增加搜索时间。HNSW 的 M、ef_construction 和 ef_search 参数分别影响图连接性、构建质量和搜索召回。合理设置这些参数是优化性能的关键。
索引维护与重建时机
IVFFLAT 索引依赖初始数据分布，数据频繁增删改后可能碎片化，导致搜索变慢、内存增加和精度下降，建议在数据分布重大变化或性能下降时重建。HNSW 索引虽无需训练，但数据快速变化时也可能需要维护。定期重建有助于保持查询效率。
实测性能提升显著
在 100 万行 Wikipedia 数据上测试，无索引时查询耗时约 4.1 秒，使用 IVFFLAT 索引后降至约 12 毫秒，HNSW 索引进一步降至约 8.6 毫秒。这表明两种索引都能大幅提升搜索速度，但 HNSW 在查询性能上略优。
Q&A
pgvector 支持哪些索引类型？它们的主要区别是什么？
pgvector 支持两种索引类型：IVFFLAT 和 HNSW。IVFFLAT 通过聚类提高查询性能，适合数据量较大的情况，但可能遗漏一些精确的相似向量；HNSW 基于跳表和可导航小世界图，查询性能更好，但构建速度较慢且内存占用较高。
IVFFLAT 索引应该在什么时候创建？创建时需要注意什么？
IVFFLAT 索引需要在数据量充足时创建，建议至少有几千个数据点，以确保聚类有意义。创建时需考虑 maintenance_work_mem，确保内存充足，例如对于百万级数据，可能需要 512MB 到 1GB 或更多。
HNSW 索引的 M 参数有什么作用？如何影响搜索性能？
M 参数指定每个节点与最近邻居的最大连接数，影响图的连通性。较高的 M 值允许更快的图探索，可能加快搜索，但可能遗漏较远的相关邻居；较低的 M 值减少探索选项，可能减慢搜索，但可能提高召回率。
在什么情况下应该使用 HNSW 索引而不是 IVFFLAT？
当需要高召回速度、数据快速变化、存储高维数据，并且可以容忍一定的召回准确率损失时，建议使用 HNSW 索引。
IVFFLAT 索引的 probes 参数是什么？如何设置？
probes 参数控制搜索时探索的聚类数量，增加 probes 可以提高搜索质量，但会增加搜索时间。推荐值为 sqrt(lists)，例如 lists 为 1000 时，probes 设为 31。默认值为 1。
使用 IVFFLAT 和 HNSW 索引后，查询性能提升有多大？
在测试中，无索引时查询耗时约 4 到 5 秒，使用 IVFFLAT 索引后降至约 12 毫秒，使用 HNSW 索引后进一步降至约 8.6 毫秒，性能提升显著。
