【RocksDB 内核机制】Column Family：共享 WAL 与独立 LSM
内容提要
本文讨论了RocksDB中的列族（Column Family, CF）机制，强调其共享WAL和独立MemTable/SST的特性。CF允许在同一数据库实例中实现多组比较器和独立的压缩策略，以满足不同状态变量的隔离需求。文章还介绍了Flink如何将多种状态变量映射到不同的CF，以优化性能和管理。WAL的回收机制与CF的flush操作密切相关，影响整体性能。
关键要点
-
RocksDB引入了列族（Column Family, CF）机制，允许在同一数据库实例中实现多组比较器和独立的压缩策略。
-
CF共享WAL（写前日志），但MemTable和SST文件是独立的，提供了逻辑分区的能力。
-
Flink通过将多种状态变量映射到不同的CF来优化性能和管理。
-
WAL的回收机制与CF的flush操作密切相关，影响整体性能，特别是在某个CF flush后，旧WAL不能删除，直到所有CF都已flush。
-
ColumnFamilyHandle管理CF的生命周期，DropColumnFamily后数据延迟删除，直到所有Handle释放。
-
RocksDB的选项分层设计允许对数据库和每个CF进行独立配置，支持不同的压缩策略和比较器。
-
Flink的每种注册状态对应一个RocksDB CF，便于管理和优化状态变量。
延伸解读
列族机制的优势
RocksDB的列族（CF）机制允许在同一数据库实例中实现逻辑分区，支持不同的比较器和压缩策略。这种设计使得不同状态变量可以独立管理，优化了性能，特别是在处理复杂的状态时，能够有效减少资源竞争和提高查询效率。
WAL回收机制的影响
共享WAL的设计虽然提高了写入效率，但也带来了回收机制的复杂性。某个CF的flush操作会影响到WAL的删除，导致旧WAL无法及时清理。这意味着在进行状态管理时，需要定期flush各CF，以避免WAL体积过大，从而影响整体性能。
Flink与RocksDB的结合
Flink通过将每种注册状态映射到不同的RocksDB列族，实现了状态的独立管理。这种映射不仅提高了状态的可管理性，还允许针对每个CF进行独立的优化配置，适应不同的业务需求，提升了整体系统的灵活性和性能。
延伸问答
RocksDB中的列族（Column Family）有什么特性？
RocksDB中的列族允许在同一数据库实例中实现多组比较器和独立的压缩策略，同时共享WAL，但MemTable和SST文件是独立的。
Flink如何利用RocksDB的列族优化性能？
Flink通过将多种状态变量映射到不同的列族来优化性能和管理，确保每种注册状态对应一个RocksDB列族。
RocksDB的WAL回收机制是怎样的？
RocksDB的WAL回收机制与列族的flush操作密切相关，旧WAL不能删除，直到所有列族都已flush。
ColumnFamilyHandle在RocksDB中有什么作用？
ColumnFamilyHandle管理列族的生命周期，DropColumnFamily后数据会延迟删除，直到所有Handle释放。
RocksDB的选项分层设计有什么优势？
RocksDB的选项分层设计允许对整个数据库和每个列族进行独立配置，支持不同的压缩策略和比较器。
RocksDB的共享WAL对性能有什么影响？
共享WAL可能导致回收耦合，某个列族flush后，WAL中仍可能有其他列族未落盘的数据，影响整体性能。
