HBase深度历险
💡
原文中文，约13000字，阅读约需31分钟。
📝
内容提要
HBase是一个分布式、可扩展的列簇数据库，具备高性能和高可靠性。其架构包括Zookeeper、HMaster和Region Server，数据通过MemStore和HFile管理。数据写入时，先记录到WAL，再存入MemStore，最后flush到HDFS。HBase适合大规模数据处理，但在数据分析和SQL支持方面存在不足。
🎯
关键要点
- HBase是一个分布式、可扩展的列簇数据库，具备高性能和高可靠性。
- HBase的架构包括Zookeeper、HMaster和Region Server，数据通过MemStore和HFile管理。
- 数据写入时，先记录到WAL，再存入MemStore，最后flush到HDFS。
- HBase适合大规模数据处理，但在数据分析和SQL支持方面存在不足。
- HBase具有高性能、高可靠、易扩展、稀疏性、列簇存储和多版本等特点。
- 列簇存储允许用户自由选择哪些列放在同一个列簇中，减少磁盘IO，提高查询性能。
- HBase的架构分为Zookeeper集群、HMaster和Region Server，Region Server是核心模块。
- HLog（WAL）用于数据写入前的备份，确保数据可靠性。
- MemStore是HBase的写缓存，负责数据的排序和批量落盘。
- HFile是HBase存储数据的文件组织形式，数据以KeyValue结构存储。
- HBase支持多版本数据保存，通过时间戳进行排序。
- HBase与传统关系型数据库相比，数据类型、操作、存储模式和更新方式存在显著差异。
- RowKey设计原则包括长度、唯一性、排序和散列，避免数据热点问题。
- HBase的缺点包括数据分析能力弱、原生不支持二级索引和SQL、故障恢复时间长等。
- 在设计表结构时，列簇数量应控制在3个以内，RowKey应进行加盐或哈希处理。
- Major Compaction应在业务低峰期手动执行，以减少资源消耗。
➡️
