【向量检索引擎】Streaming Node 与 Woodpecker WAL：实时可搜的日志层
内容提要
本文介绍了Milvus 2.6.x中的Streaming Service和Woodpecker组件，重点在于通过WAL（写前日志）实现高效的数据流处理和查询。Streaming Service负责数据摄入、状态恢复和查询，采用消息驱动方式确保数据一致性。Woodpecker作为云原生WAL，支持零本地盘存储，提升系统吞吐量和可靠性，优化实时数据检索和处理能力。
关键要点
-
Streaming Service 是围绕 WAL 的内部流式模块，负责数据摄入、状态恢复和查询。
-
每条 Message 由 Streaming Service 赋予 Timestamp Oracle (TSO) 字段，决定写操作顺序。
-
Milvus 的 WAL 不是单一日志文件，而是多个日志的复合，支持大规模水平扩展。
-
Woodpecker 是云原生 WAL，支持零本地盘存储，提升系统吞吐量和可靠性。
-
Woodpecker 提供两种部署模式：MemoryBuffer 和 QuorumBuffer，适应不同的延迟需求。
-
Streaming Node 上的 Query Delegator 负责增量查询和结果聚合，连接 Growing 和 Sealed 数据。
-
WAL 迁移时，旧节点会拒绝部分请求，确保新节点的 WAL 可服务后再恢复请求。
延伸解读
Streaming Service 的重要性
Streaming Service 是 Milvus 中的核心组件，负责数据的实时摄入和查询。通过将写操作抽象为 Message，并赋予时间戳，确保了数据的一致性和顺序。这种设计使得系统能够在高并发环境下有效处理流式数据，适应现代数据处理需求。
Woodpecker 的优势与挑战
Woodpecker 作为云原生的 WAL 组件，提供了零本地盘存储的能力，降低了对外部消息队列的依赖。然而，选择 MemoryBuffer 或 QuorumBuffer 部署模式时，用户需仔细评估延迟需求与系统性能，以确保满足特定应用场景的要求。
WAL 迁移的注意事项
在进行 WAL 迁移时，旧节点会拒绝部分请求，确保新节点的 WAL 准备就绪后再恢复请求。这一过程可能导致短暂的写入失败或查询抖动，因此在系统设计时需考虑 WAL 迁移窗口对整体性能的影响，避免对用户体验造成负面影响。
延伸问答
Streaming Service 的主要功能是什么？
Streaming Service 负责数据摄入、状态恢复和查询，确保数据一致性。
Woodpecker WAL 有哪些部署模式？
Woodpecker 提供 MemoryBuffer 和 QuorumBuffer 两种部署模式，适应不同的延迟需求。
Milvus 的 WAL 是如何支持水平扩展的？
Milvus 的 WAL 不是单一日志文件，而是多个日志的复合，支持大规模水平扩展。
Streaming Node 上的 Query Delegator 负责什么？
Query Delegator 负责增量查询和结果聚合，连接 Growing 和 Sealed 数据。
WAL 迁移时会发生什么？
WAL 迁移时，旧节点会拒绝部分请求，确保新节点的 WAL 可服务后再恢复请求。
Woodpecker 相比 Kafka/Pulsar 有哪些优势？
Woodpecker 采用零本地盘模式，降低对外部 broker 的依赖，提升系统的吞吐量和可靠性。
