Qdrant 内部机制：不可变数据结构
内容提要
数据结构没有通用的形式，不同结构在索引访问和插入效率上有所不同。硬件优化的数据结构需要更复杂的结构来执行插入、删除和搜索等操作。不可变性是处理数据结构时的一个重要挑战，但它可以提高性能和优化内存使用。不可变数据结构的优势包括减少更新成本、重建开销和内存开销，提高缓存性能。在Qdrant中，使用完美哈希和碎片整理等技术进一步提高了向量搜索的性能和效率。
延伸解读
不可变数据结构的性能优势
文章指出，不可变数据结构能显著提升读取性能并优化内存使用。由于构建前已知全部数据，可以精确分配内存，避免动态调整开销。同时，连续内存布局有利于硬件预取和缓存，减少缓存未命中。在Qdrant中，不可变结构结合完美哈希和碎片整理，进一步降低了冷读延迟，尤其适合读密集型的向量搜索场景。
完美哈希如何减少磁盘读取开销
Qdrant采用基于指纹的最小完美哈希函数，为给定键集构建无冲突的哈希表。虽然哈希计算时间略有增加，但消除了冲突处理开销，整体操作时间反而降低。在磁盘读取场景下，完美哈希确保一次读取即可定位数据，避免了多次随机访问，这对多租户大规模系统尤为重要，能有效降低冷读延迟。
碎片整理对多租户性能的提升
磁盘按页读取，通常为4KB，而向量可能很小，导致读取放大。Qdrant通过碎片整理，将具有相同负载索引的向量组合到同一页，减少读取开销。基准测试显示，在热子集较小时，碎片整理可带来高达100倍的RPS提升。这对于多租户系统中仅小部分向量活跃的场景尤其有效，能显著优化热子集缓存效率。
不可变结构的权衡与Qdrant的应对
不可变数据结构在更新时成本较高，需要重建索引或结构，且更适用于读密集型工作负载。Qdrant通过分段存储（可变段与不可变段结合）和写时复制机制，允许用户更新数据，同时通过调整段大小等参数来平衡性能。这种架构灵活性让用户能根据工作负载特点，在读取效率和更新开销之间取得平衡。
Q&A
不可变数据结构的优势是什么？
不可变数据结构可以减少更新成本、重建开销和内存开销，提高缓存性能。
Qdrant如何提高向量搜索的性能？
Qdrant使用完美哈希和碎片整理等技术来提高向量搜索的性能和效率。
什么是完美哈希函数，它有什么优势？
完美哈希函数是一种特殊的哈希函数，能够消除哈希冲突，减少内存使用，提高读取效率。
不可变数据结构在更新时有哪些挑战？
不可变数据结构在更新时成本较高，且可能需要重建索引或结构。
Qdrant是如何处理不可变数据结构的更新的？
Qdrant通过将新数据写入可变段，然后将其转换为不可变段来处理更新。
碎片整理在Qdrant中有什么作用？
碎片整理可以将相关向量组合到同一页面，减少读取开销，特别是在多租户系统中。
