【向量检索引擎】Knowhere：向量索引执行引擎与插件契约
内容提要
Knowhere 是 Milvus 的向量索引执行引擎，集成了 Faiss、Hnswlib 和 Annoy 等库，支持软删和多种相似度计算。它通过统一的 VecIndex 接口处理索引构建与查询，优化性能并简化开发流程，同时支持自动 SIMD 选择以提升计算效率。
关键要点
-
Knowhere 是 Milvus 的向量索引执行引擎，集成了 Faiss、Hnswlib 和 Annoy 等库。
-
Knowhere 通过统一的 VecIndex 接口处理索引构建与查询，优化性能并简化开发流程。
-
支持软删功能，使用 bitset 实现，标记为删除的向量在搜索中跳过。
-
Knowhere 支持多种相似度计算，包括 Hamming、Jaccard 和 Tanimoto 等。
-
自动 SIMD 选择提升计算效率，支持 AVX512，相比 AVX2 提升约 20%-30%。
-
Knowhere 的代码结构包括 DataObj、Index 和 VecIndex 等类，便于源码阅读与理解。
-
新增索引的步骤包括在 IndexEnum 增加名称、参数校验和实现新文件等。
-
Knowhere 处理向量索引运算，标量索引和段编排不在其职责范围内。
延伸解读
Knowhere 的架构优势
Knowhere 作为 Milvus 的核心向量执行引擎，整合了多个流行的向量检索库，如 Faiss 和 Hnswlib。这种整合不仅简化了开发流程，还通过统一的 VecIndex 接口提升了性能，减少了不同库之间的兼容性问题。开发者在使用时可以更专注于业务逻辑，而不必担心底层实现的复杂性。
软删功能的实用性
Knowhere 的软删功能通过 bitset 实现，允许标记向量为删除而不实际移除。这种方式在进行相似度搜索时可以有效跳过已删除的向量，提升查询效率。这对于需要频繁更新数据的应用场景尤为重要，能够减少数据重建的开销。
自动 SIMD 选择的性能提升
Knowhere 支持自动 SIMD 选择，能够根据 CPU 的特性动态选择最优的计算路径。这一特性使得在不同硬件上运行时，性能可以得到显著提升，尤其是在使用 AVX512 时，相比于 AVX2 提升可达 20%-30%。开发者在优化性能时，可以更轻松地利用这一特性，而无需深入底层实现。
延伸问答
Knowhere 是什么？
Knowhere 是 Milvus 的向量索引执行引擎，集成了多个库如 Faiss、Hnswlib 和 Annoy。
Knowhere 如何处理软删功能？
Knowhere 使用 bitset 实现软删，标记为删除的向量在搜索中跳过，但仍保留在库中。
Knowhere 支持哪些相似度计算？
Knowhere 支持多种相似度计算，包括 Hamming、Jaccard 和 Tanimoto 等。
Knowhere 如何提升计算效率？
Knowhere 通过自动 SIMD 选择和支持 AVX512 来提升计算效率，性能提升约 20%-30%。
新增索引的步骤是什么？
新增索引需要在 IndexEnum 增加名称、参数校验和实现新文件等步骤。
Knowhere 的代码结构是怎样的？
Knowhere 的代码结构包括 DataObj、Index 和 VecIndex 等类，便于源码阅读与理解。
