【向量检索引擎】ANN 算法工程接口：从 HNSW/IVF 到 Knowhere 契约
内容提要
本文讨论了向量检索引擎Knowhere的架构与索引类型，包括HNSW、DiskANN和IVF-PQ等算法的应用。强调了在训练、构建、加载和查询四个阶段的参数管理，指出Flat索引是金标准但不应作为默认选择。文章还探讨了索引生命周期与段的关系，以及插件契约的实现步骤，提出了多索引参数组合的开放问题。
关键要点
-
Knowhere的VecIndex类层次与工厂结构，强调训练、构建、加载和查询四个阶段的参数管理。
-
Flat索引是金标准，但不应作为默认选择，适用于小数据或索引未就绪时的正确性路径。
-
HNSW、DiskANN和IVF-PQ等算法的应用，分别适用于不同的内存和磁盘假设。
-
构建期参数和查询期参数的区别，构建期参数需要重建索引，而查询期参数可以按请求调节。
-
插件契约的实现步骤，包括IndexEnum、ConfAdapter校验、VecIndex实现和单元测试。
-
开放问题包括多向量字段时单段多索引的参数组合，以及磁盘索引与对象存储的冷热分层共用问题。
延伸解读
索引类型的选择与应用场景
Knowhere支持多种索引类型，如HNSW、DiskANN和IVF-PQ等，每种算法适用于不同的内存和磁盘假设。HNSW适合高内存需求的低延迟检索，而DiskANN则更适合内存不足的场景。选择合适的索引类型可以显著提高检索效率，尤其在处理大规模数据时。
构建期与查询期参数的管理
文章强调构建期参数与查询期参数的区别，构建期参数如HNSW的M和efConstruction需要重建索引，而查询期参数如ef和nprobe可以动态调整。这种管理方式使得在不同阶段优化性能成为可能，用户应关注在调试时区分这两类参数。
Flat索引的角色与局限性
虽然Flat索引被视为金标准，但文章指出不应将其作为默认选择，尤其在处理大规模数据时。Flat索引适合小数据集或索引尚未准备好的情况，使用不当可能导致性能下降，因此在选择索引时需谨慎评估数据规模与查询需求。
延伸问答
Knowhere的VecIndex类有什么特点？
Knowhere的VecIndex类具有层次与工厂结构，强调在训练、构建、加载和查询四个阶段的参数管理。
HNSW、DiskANN和IVF-PQ算法适用于什么场景？
HNSW适用于高内存图的低延迟检索，DiskANN适合内存装不下全体图的磁盘友好场景，而IVF-PQ适用于可接受训练的偏吞吐/压缩场景。
什么是Flat索引，它的作用是什么？
Flat索引是金标准，适用于小数据或索引未就绪时的正确性路径，但不应作为默认选择。
构建期参数和查询期参数有什么区别？
构建期参数需要重建索引，而查询期参数可以按请求调节，不必重建索引。
如何实现Knowhere的插件契约？
实现Knowhere的插件契约步骤包括IndexEnum、ConfAdapter校验、VecIndex实现和单元测试。
文章中提到的开放问题有哪些？
开放问题包括多向量字段时单段多索引的参数组合，以及磁盘索引与对象存储的冷热分层共用问题。
