【全文检索引擎】Index · Shard · Replica：路由与 cluster state
内容提要
本文探讨了Elasticsearch 8.x中的索引、主分片、副本及其与Lucene的关系，强调了分片数对集群状态更新的影响，主分片和副本的读写机制，以及通过哈希路由优化数据分布的重要性，最后讨论了分片规划的重要性，以避免过多分片导致的性能问题。
关键要点
-
Elasticsearch中的Index是逻辑命名空间，包含分片路由表和副本策略。
-
主分片数在创建后不可更改，副本数可以随时调整。
-
哈希路由机制决定文档的主分片，routing默认为文档_id。
-
副本分片用于读扩展和容错，但写入始终通过主分片进行。
-
Cluster state的大小和更新代价与分片数呈超线性关系，过多分片会导致性能问题。
-
分片规划应考虑数据体积和查询扇出，而非单纯追求并行度。
延伸解读
分片规划的重要性
在Elasticsearch中，主分片数一旦设定后无法更改，因此在创建索引时必须谨慎考虑分片数量。过多的分片会导致集群状态更新变慢，影响整体性能。因此，合理的分片规划应基于数据体积和查询需求，而非单纯追求并行度。
副本的角色与限制
副本分片在Elasticsearch中主要用于扩展读取能力和提供容错，但写入操作始终通过主分片进行。这意味着增加副本并不会提升写入性能，反而可能增加写入延迟。因此，在设计系统时，需要平衡副本数量与写入性能之间的关系。
哈希路由机制的影响
Elasticsearch使用哈希路由机制来决定文档的主分片，这意味着同一路由键的文档会被存储在同一主分片中。这种设计有助于提高查询效率，但也可能导致某些主分片成为热点，影响整体性能。因此，合理选择路由键是优化性能的关键。
延伸问答
Elasticsearch中的Index是什么？
Elasticsearch中的Index是一个逻辑命名空间，包含分片路由表和副本策略。
主分片和副本的读写机制是怎样的？
写入操作始终通过主分片进行，而副本分片用于读扩展和容错。
分片数对集群状态更新有什么影响？
分片数的增加会导致cluster state的大小和更新代价呈超线性关系，过多分片会影响性能。
如何通过哈希路由优化数据分布？
哈希路由机制通过对文档的routing进行哈希计算，决定文档的主分片，从而优化数据分布。
为什么主分片数在创建后不可更改？
主分片数在创建后不可更改是为了避免在运行时迁移复杂度，改变分片数需要使用reindex或其他迁移手段。
分片规划时应考虑哪些因素？
分片规划应考虑数据体积和查询扇出，而不是单纯追求并行度。
