【向量检索引擎】Query Node 与 Segcore：段级 search 如何执行
内容提要
本文讨论了Milvus 2.6.x的数据处理架构，重点介绍了Growing和Sealed段的查询机制。Growing段由Streaming Node处理，实时更新；Sealed段由Query Node加载历史数据。Query Delegator负责生成查询计划并合并结果。Segcore作为段级执行层，与Knowhere索引内核协同工作，实现高效的向量检索。文章还探讨了查询过程中的数据加载、索引管理及动态更新与不可变索引之间的平衡。
关键要点
-
Growing段由Streaming Node处理，实时更新；Sealed段由Query Node加载历史数据。
-
Query Delegator负责生成查询计划并合并结果。
-
Segcore作为段级执行层，与Knowhere索引内核协同工作，实现高效的向量检索。
-
Query Node按需从对象存储加载段数据，执行segment-level search。
-
Growing路径支持实时数据更新，Sealed路径则提供不可变的历史数据查询。
-
一次Milvus search是分布式归并，而不是单次FAISS调用。
延伸解读
Growing段与Sealed段的区别
Growing段和Sealed段在数据处理上有显著区别。Growing段由Streaming Node实时处理，支持动态更新，适合需要快速响应的场景。而Sealed段则由Query Node加载历史数据，提供稳定的查询结果，适合对数据一致性要求较高的应用。了解这两者的特性有助于选择合适的查询路径。
Query Delegator的角色
Query Delegator在查询过程中扮演着关键角色，它负责生成查询计划并合并来自不同段的数据。通过合理的查询计划，Delegator能够优化查询性能，减少延迟。因此，在设计查询时，关注Delegator的配置和性能至关重要，以确保系统高效运行。
Segcore的执行效率
Segcore作为段级执行层，与Knowhere索引内核协同工作，能够高效处理向量检索任务。它的设计使得在同一段内可以同时执行向量和标量查询，提升了查询的灵活性和效率。在实际应用中，合理配置Segcore的参数可以进一步优化查询性能。
延伸问答
Growing段和Sealed段有什么区别？
Growing段由Streaming Node处理，支持实时更新；Sealed段由Query Node加载，提供不可变的历史数据查询。
Query Delegator在查询过程中起什么作用？
Query Delegator负责生成查询计划并合并来自不同段的查询结果。
Segcore在Milvus中扮演什么角色？
Segcore是段级执行层，负责处理段内的向量和标量数据的检索与过滤。
如何实现一次Milvus搜索？
一次Milvus搜索是通过分布式归并实现的，而不是单次FAISS调用。
Query Node如何处理历史数据？
Query Node从对象存储加载历史数据，并执行segment-level search。
Growing路径和Sealed路径在数据可变性上有什么不同？
Growing路径支持数据的追加和删除，而Sealed路径则是不可变的，依赖于compaction和handoff进行替换。
