【向量检索引擎】生产排障：召回、延迟、堆积、OOM
内容提要
本文讨论了排障过程中常见错误，指出故障原因多在可见性和段状态等方面，而非仅限于ef/nprobe。提供了检查清单，涵盖召回、延迟和堆积等问题，建议通过定量分析症状来定位问题，避免主观判断，并提出了开放问题和改进方向。
关键要点
-
排障过程中常见错误主要在于可见性、段状态等方面，而非仅限于ef/nprobe。
-
提供了检查清单，涵盖召回、延迟和堆积等问题。
-
建议通过定量分析症状来定位问题，避免主观判断。
-
召回差的原因包括度量/归一化不一致、索引未加载等。
-
延迟高的原因可能是等待、冷段加载和副本不均等。
-
堆积问题可能由索引任务队列长、删除未compaction等引起。
-
写入路径检查单包括检查Coordinator健康状态和shard/channel倾斜情况。
-
开放问题包括统一召回、延迟、队列深度的监控模板等。
延伸解读
排障中的常见误区
在排障过程中，许多工程师容易将问题归因于特定的组件，如ef/nprobe。然而，实际故障往往与可见性、段状态等因素密切相关。了解这些常见误区有助于更有效地定位和解决问题，避免不必要的时间浪费。
定量分析的重要性
文章强调通过定量分析症状来定位问题的重要性。主观判断可能导致错误的结论，因此建议使用具体的度量标准来评估召回率和延迟。这种方法不仅提高了排障的准确性，也为后续的优化提供了数据支持。
堆积问题的处理策略
堆积问题可能由索引任务队列长、删除未compaction等引起。为了解决这些问题，建议扩展Data Node、降低写入突发、调整段大小策略等。这些措施可以有效缓解系统负担，提高整体性能。
延伸问答
排障过程中常见的错误有哪些？
常见错误主要在于可见性、段状态、过滤选择度等方面，而非仅限于ef/nprobe。
如何定位召回差的问题？
召回差的原因可能包括度量/归一化不一致、索引未加载等。
延迟高的原因是什么？
延迟高可能是由于等待、冷段加载和副本不均等因素造成的。
堆积问题通常由哪些因素引起？
堆积问题可能由索引任务队列长、删除未compaction等引起。
在排障时，如何进行定量分析？
建议通过定量分析症状来定位问题，避免主观判断。
有哪些开放问题需要关注？
开放问题包括统一召回、延迟、队列深度的监控模板等。
