【全文检索引擎】DocValues 与 stored fields：排序聚合为何不走倒排
内容提要
本文探讨了Elasticsearch和Lucene中DocValues的使用，强调其在排序和聚合中的重要性。DocValues以列式存储优化字段访问，适合高效的排序和聚合操作，而stored字段则用于获取原文。使用DocValues可以提高查询性能，避免对分析文本字段进行聚合的误区，并讨论了设计时的注意事项和未来的开放问题。
关键要点
-
DocValues 以列式存储优化字段访问，适合高效的排序和聚合操作。
-
DocValues 在段 flush 时按字段写列，docID 为隐式行号，支持快速访问。
-
使用 DocValues 可以提高查询性能，避免对分析文本字段进行聚合的误区。
-
stored 字段用于获取原文，但在高并发场景下可能导致性能下降。
-
Elasticsearch 聚合依赖于 DocValues，构建聚合树以提高效率。
-
设计时应避免对分析文本字段进行聚合，选择合适的字段类型和存储方式。
-
未来开放问题包括 runtime fields 的性能争论和向量字段的存储优化。
延伸解读
DocValues 的优势与应用场景
DocValues 采用列式存储，特别适合需要高效排序和聚合的场景。与传统的倒排索引相比，DocValues 在处理字段值时能提供更好的缓存局部性，显著提高查询性能。尤其在高并发环境下，使用 DocValues 可以有效避免对分析文本字段进行聚合的误区，从而提升整体系统的响应速度。
Stored Fields 的局限性
虽然 stored fields 可以用于获取原文，但在高并发情况下，频繁的随机访问可能导致性能下降。特别是在需要大量数据提取时，stored fields 的行存储方式会增加 I/O 成本。因此，在设计时应谨慎选择字段类型，避免不必要的性能损失。
聚合设计中的注意事项
在进行聚合设计时，务必选择合适的字段类型和存储方式。避免对分析文本字段进行聚合是关键，因为这可能导致错误的聚合结果。使用 DocValues 进行聚合时，需确保字段的 doc_values 属性已启用，以确保聚合操作的高效性和准确性。
延伸问答
DocValues 在 Elasticsearch 中的主要作用是什么？
DocValues 主要用于优化字段访问，适合高效的排序和聚合操作。
为什么在聚合时优先使用 DocValues 而不是 stored 字段？
因为 DocValues 按 docID 顺序读取，缓存局部性好，适合高效聚合，而 stored 字段则不适合全索引列统计。
使用 stored 字段时可能遇到哪些性能问题？
在高并发场景下，使用 stored 字段可能导致性能下降，因为它需要随机读取多个行。
DocValues 的存储方式是什么？
DocValues 采用列式存储，按字段写列，docID 为隐式行号，支持快速访问。
在设计 Elasticsearch 索引时应注意哪些事项？
应避免对分析文本字段进行聚合，选择合适的字段类型和存储方式，确保字段开启 doc_values。
未来关于 DocValues 的开放问题有哪些？
未来开放问题包括 runtime fields 的性能争论和向量字段的存储优化。
