本文介绍了Milvus 2.6.x中Data Node的功能与架构。Data Node负责历史数据的离线处理，包括索引构建和数据压缩。它通过协调组件调度，处理数据加载、索引生成和清理，确保查询节点高效访问数据。文章还讨论了索引构建策略、数据新鲜度及其对查询性能的影响，以及优化资源调度以减少在线查询延迟的方法。

本文讨论了RocksDB的Leveled Compaction机制，重点在于如何维护层级结构以优化读写性能。L0层文件重叠会导致读放大，因此需要通过compaction将数据逐层下推，以保持L1及以下层不重叠。文章分析了compaction的触发条件、分数计算及动态层级字节配置，并强调了L0文件数对读放大和写停滞的影响。实验结果表明，短时间内可能看不到compaction，需要延长测试以获取准确数据。

本文讨论了RocksDB相较于LevelDB的多线程flush和compaction机制，重点介绍了CompactionJob的生命周期、Env线程池的调度策略以及RateLimiter的工作原理。实验对比了不同速率限制下的写入性能，强调了RateLimiter在控制写入带宽和避免写入阻塞中的重要性，指出RocksDB在多核并行compaction方面的优势。

本文探讨了RocksDB的内核机制，包括LevelDB、WAL、Compaction和Column Family等，重点分析了其在流计算和数据平台中的应用，尤其是在Flink和TiKV中的嵌入方式。同时讨论了写优化LSM的实现、读写路径、Compaction策略及其对性能的影响，适合流计算工程师和存储开发者阅读。

本文讨论了RocksDB的写入停滞问题及排查方法，主要症状包括延迟增加、磁盘占用上升和checkpoint同步变长。通过分析RocksDB的属性和日志，可以识别出L0堆积、compaction滞后和Block Cache未命中等原因。建议使用GetProperty和LOG信息进行故障排查，并关注磁盘空间和写入速率等关键指标。

本文探讨了Flink中RocksDB的状态管理与优化，分析了状态膨胀的原因及其对磁盘占用的影响，主要涉及窗口状态、TTL和MapState的无限增长等问题。提出通过调整RocksDB参数和设计来优化性能，强调在hot key倾斜情况下，改进状态设计比单纯调参更有效，并提供了调优建议和监控指标。

Dropbox recently explained how it improved storage efficiency in Magic Pocket, the company's internal immutable blob store for storing user files at scale, by redesigning compaction strategies to...

本文讨论了LSM-Tree中的Compaction机制，解决了SSTable只增不删的问题。Compaction通过合并多个SSTable文件，回收无效数据，提升读性能。文章介绍了不同层级的设计、Compaction的触发条件、文件选择策略及去重逻辑，确保数据的有序性和一致性，并管理版本信息以支持并发读写操作。

本文介绍了RocksDB的基本架构和运作方式，以及性能挑战和解决方法。RocksDB是高性能的KV数据库，适用于海量数据检索和高速存取场景。主要组件包括MemTable、SSTable和预写日志（WAL）日志。数据写入先写入MemTable，再flush到磁盘上的SSTable文件。SSTable文件按层级存放，每层数据被范围分区为多个SSTable文件。RocksDB通过LSM Trees实现追加写入，通过Compaction操作降低放大因子的影响。主要Compaction策略有Size-Tiered Compaction和Leveled Compaction。文章还介绍了WiscKey和PebblesDB等优化LSM树的方法，降低写入放大。

Leveldb 是一个 LSM-Tree 类型的数据库, LSM 最后一个字母就是 merge, 压实就是 merge 具体实现. 该算法在 LSM-Tree 论文阅读笔记 里有介绍, 如果不了解建议先读下这篇小文. 1. 压实介绍当 level-L