木鸟杂记
·
RocksDB 运行原理
内容提要
RocksDB是一种可持久化的内嵌型键值存储，适用于构建复杂系统。它是从Google的LevelDB分支出来的，并针对SSD服务器进行了优化。RocksDB使用C++编写，可以嵌入到其他语言应用中。核心数据结构是日志结构合并树（LSM-Tree），写路径包括MemTable、预写日志和刷盘，读路径通过遍历LSM-Tree查找数据。RocksDB支持合并操作，可以将增量更新组合成单个值。使用RocksDB需要进行配置调优以适应特定工作负载。
关键要点
-
RocksDB 是一种可持久化的内嵌型键值存储，适用于构建复杂系统。
-
RocksDB 从 Google 的 LevelDB 分支出来，并针对 SSD 服务器进行了优化。
-
RocksDB 使用 C++ 编写，可以嵌入到其他语言应用中。
-
核心数据结构是日志结构合并树（LSM-Tree），写路径包括 MemTable、预写日志和刷盘，读路径通过遍历 LSM-Tree 查找数据。
-
RocksDB 支持合并操作，可以将增量更新组合成单个值。
-
使用 RocksDB 需要进行配置调优以适应特定工作负载。
-
RocksDB 在 Meta、Microsoft、Netflix 和 Uber 等公司的生产环境上运行。
-
RocksDB 以键值对集合的形式存储数据，提供了基本的操作接口如 put、merge 和 delete。
-
MemTable 是 LSM-Tree 的顶层，用于缓存键值对，具有可配置的字节数限制。
-
预写日志（WAL）用于防止数据丢失，保证数据的持久化。
-
SST 文件是从 MemTable 刷盘而来的数据，使用块的格式存储，并支持多种压缩算法。
-
Compaction 机制用于降低空间放大和读放大，但会增加写放大。
-
RocksDB 提供了不同的 Compaction 策略来在空间、读放大和写放大之间进行权衡。
-
读路径相对简单，通过遍历 LSM-Tree 从 MemTable 开始查找数据。
-
RocksDB 支持合并操作，允许将增量更新组合成单个值，适合写入密集型场景。
-
对 RocksDB 进行配置调优并不容易，需要理解数据库内部原理并进行实验和基准测试。
-
RocksDB 解决了数据持久化和性能优化的问题，使其成为构建数据库的优秀模块。
