【TiKV / HTAP 内核】生产排障：Region 过多、热点、TSO 抖动、锁冲突、apply 积压
内容提要
本文讨论了TiKV/PD/TiFlash的常见故障及其排查方法，包括Region过多、热点、TSO抖动、锁冲突和apply积压。每种故障都有相应的信号源和根因链，提供了排查框架和具体处理方向。强调信号与机制的关系，建议根据官方文档调整参数。
关键要点
-
本文讨论了TiKV/PD/TiFlash的五类高频故障：Region过多、热点、TSO抖动、锁冲突和apply积压。
-
每种故障都有相应的信号源和根因链，提供了排查框架和具体处理方向。
-
排查框架建议先分层再下钻，逐步定位故障原因。
-
Region过多会导致TiKV和PD的性能瓶颈，需通过合并小Region和减少空闲Region的心跳来处理。
-
热点问题分为写热点和读热点，需通过打散主键和负载均衡来缓解。
-
TSO抖动的信号是pd_client的wait duration异常升高，常见原因包括PD节点磁盘I/O饱和和网络问题。
-
锁冲突可通过Lock View监控，关键指标包括DATA_LOCK_WAITS，需根据冲突来源调整事务策略。
-
apply积压意味着日志已共识但未写入存储，需检查apply线程和RocksDB的写入性能。
-
强调信号与机制的关系，建议根据官方文档调整参数。
延伸解读
Region过多的影响
当TiKV中的Region数量过多时，会导致性能瓶颈，尤其是在raftstore和PD的处理能力上。过多的Region会增加心跳和消息处理的开销，导致CPU资源紧张。因此，合理合并小Region和减少空闲Region的心跳是必要的，以提升整体性能。
热点问题的识别与解决
热点问题分为写热点和读热点，通常表现为某些节点的CPU使用率显著高于其他节点。通过打散主键和负载均衡，可以有效缓解这些问题。特别是在设计数据模型时，应避免使用单调递增的主键，以减少写入集中在同一Region的风险。
TSO抖动的根因分析
TSO抖动通常由PD节点的磁盘I/O饱和或网络延迟引起。监控pd_client的wait duration指标可以帮助识别问题。如果发现该指标异常升高，应优先检查硬件性能和网络状况，以确保PD服务的稳定性。
锁冲突的排查方法
锁冲突可能源于高并发事务对同一数据的访问。使用Lock View监控可以帮助识别冲突的具体来源。若冲突集中在少数Region，可能需要调整事务策略或优化SQL查询，以减少竞争和提高系统的整体性能。
延伸问答
TiKV中Region过多会导致什么问题？
Region过多会导致TiKV和PD的性能瓶颈，增加心跳和消息处理的开销。
如何处理TiKV中的热点问题？
可以通过打散主键和负载均衡来缓解写热点和读热点。
TSO抖动的常见原因是什么？
常见原因包括PD节点磁盘I/O饱和、网络问题和PD Leader选举。
如何监控TiKV中的锁冲突？
可以通过Lock View监控，查看DATA_LOCK_WAITS等指标。
apply积压的信号和处理方向是什么？
apply积压的信号包括apply CPU高和apply log duration高，处理方向是检查apply线程和RocksDB的写入性能。
如何判断TiKV中的写热点？
可以通过监控某个TiKV节点的Raftstore CPU是否明显高于其他节点来判断。
