Compaction：LSM-Tree 的心脏手术
内容提要
本文讨论了LSM-Tree中的Compaction机制，解决了SSTable只增不删的问题。Compaction通过合并多个SSTable文件，回收无效数据，提升读性能。文章介绍了不同层级的设计、Compaction的触发条件、文件选择策略及去重逻辑，确保数据的有序性和一致性，并管理版本信息以支持并发读写操作。
关键要点
-
Compaction机制解决了SSTable只增不删的问题，通过合并多个SSTable文件回收无效数据，提升读性能。
-
LSM-Tree的分层设计包括L0到L6，每层有不同的容量上限和触发条件，确保数据的有序性和一致性。
-
Compaction的触发条件包括L0文件数达到阈值和各层总大小超过设定值，使用打分机制决定需要进行Compaction的层级。
-
Minor Compaction是将Immutable MemTable的内容写入L0，触发条件为MemTable达到设定大小。
-
Major Compaction涉及多个SSTable的归并，使用MergeIterator进行有序输出，并处理去重和Tombstone标记。
-
Version管理确保每次Compaction的结果是原子的，通过VersionEdit记录文件的增删，使用MANIFEST持久化日志。
-
Compaction策略包括Leveled、Size-Tiered和Universal，各有不同的写放大、读放大和空间放大特性，适用于不同场景。
延伸问答
什么是Compaction机制，它的主要作用是什么？
Compaction机制是LSM-Tree中的后台整理机制，通过合并多个SSTable文件来回收无效数据，提升读性能。
LSM-Tree的分层设计是怎样的？
LSM-Tree的分层设计包括L0到L6，每层有不同的容量上限和触发条件，确保数据的有序性和一致性。
Compaction的触发条件有哪些？
Compaction的触发条件包括L0文件数达到阈值和各层总大小超过设定值。
Minor Compaction和Major Compaction有什么区别？
Minor Compaction是将Immutable MemTable的内容写入L0，而Major Compaction涉及多个SSTable的归并，使用MergeIterator进行有序输出。
Compaction过程中如何处理重复数据和Tombstone标记？
Compaction过程中，遇到相同user_key的多个版本只保留第一个，并且Tombstone标记必须下推到覆盖所有层的旧值后才能安全删除。
不同的Compaction策略有哪些，它们各自的特点是什么？
Compaction策略包括Leveled、Size-Tiered和Universal，各有不同的写放大、读放大和空间放大特性，适用于不同场景。
