【向量检索引擎】对象存储上的 Segment 布局：快照、索引与寻址代价
内容提要
本文讨论了对象存储在Milvus 2.6.x版本向量检索引擎中的应用。对象存储用于保存日志快照、索引文件和查询结果，布局从按字段拆分转向按段整合，以减少API调用次数和延迟。文章还探讨了数据处理路径、索引对象与数据对象的生命周期差异，以及与湖仓对象布局的对比，强调了优化存储布局的重要性。
关键要点
-
对象存储用于保存日志快照、索引文件和查询结果。
-
布局从按字段拆分转向按段整合，以减少API调用次数和延迟。
-
对象存储的特点是高延迟和按请求计费，必须减少小文件和API调用。
-
数据处理路径中，数据从WAL提交到Growing，再flush到对象存储形成Sealed。
-
索引对象与数据对象的生命周期存在差异，可能导致数据已Sealed但索引尚未完成的情况。
-
与湖仓对象布局相比，Milvus的对象布局服务于ANN段生命周期与索引文件，元数据权威不同。
-
布局演进的核心动机是削减对象API次数，提升存储效率。
延伸解读
对象存储的特点与挑战
对象存储在高延迟和按请求计费的特性下，必须优化文件布局以减少小文件和API调用。这意味着在设计数据存储方案时，需考虑如何有效管理存储成本和访问效率，尤其是在处理大量小文件时。
布局演进的重要性
从按字段拆分到按段整合的布局演进，显著降低了API调用次数和延迟。这一变化不仅提升了存储效率，也为后续的数据处理和查询提供了更好的性能保障，读者在实施时应关注布局对整体系统性能的影响。
索引与数据对象的生命周期差异
索引对象与数据对象的生命周期差异可能导致数据已Sealed但索引尚未完成的情况。这种不一致性可能影响查询结果的准确性，开发者在设计系统时需考虑如何同步这两者的状态，以避免潜在的查询错误。
延伸问答
对象存储在Milvus 2.6.x中主要用于保存什么？
对象存储用于保存日志快照、索引文件和查询结果。
Milvus的存储布局是如何演进的？
布局从按字段拆分转向按段整合，以减少API调用次数和延迟。
对象存储的高延迟和按请求计费对系统有什么影响？
高延迟和按请求计费要求减少小文件和API调用，以提升存储效率。
数据处理路径中，数据是如何从WAL提交到对象存储的？
数据从WAL提交到Growing，再flush到对象存储形成Sealed。
索引对象与数据对象的生命周期有什么不同？
索引对象与数据对象的生命周期存在差异，可能导致数据已Sealed但索引尚未完成的情况。
Milvus的对象布局与湖仓对象布局有什么区别？
Milvus的对象布局服务于ANN段生命周期与索引文件，而湖仓对象布局优化的是清单与文件剪枝，二者的元数据权威不同。
