为什么 HNSW 不是最终的答案
内容提要
本文指出HNSW算法在大规模向量搜索中内存开销大且不适合磁盘环境，而IVF结合量化技术（如RaBitQ）更高效、可扩展，能减少距离计算并降低内存需求，更适合大规模数据集，建议实践者采用IVF替代HNSW。
延伸解读
内存瓶颈：HNSW 的软肋
HNSW 依赖图结构进行搜索，其随机访问模式要求整个数据集常驻内存，否则性能会急剧下降。对于数十亿高维向量，内存需求往往不可行。相比之下，IVF 基于磁盘设计，通过顺序访问和量化压缩，大幅降低内存占用，更适合大规模场景。
量化技术：提升效率的关键
量化将高维向量压缩为紧凑表示，如 RaBitQ 可将 32 位向量压缩为 1 位，内存减少 32 倍，距离计算复杂度降低 1024 倍。结合 IVF，量化后的向量可全部放入内存，搜索时仅需从磁盘获取少量候选向量进行重排序，显著提升性价比。
IVF 的运维优势
IVF 的插入和删除只需更新发布列表，而 HNSW 需要级联修改图结构，导致写放大和计算开销。此外，IVF 天然支持磁盘存储，易于扩展，且能灵活结合量化技术，整体复杂度低，更适合实际生产环境。
Q&A
HNSW算法在大规模向量搜索中有什么主要缺点？
HNSW的主要缺点包括：内存开销大，需要将整个数据集放入内存；对内存大小敏感，内存不足时性能急剧下降；不适合基于磁盘的环境；插入和删除操作复杂，导致计算和写放大。
为什么IVF在大规模向量搜索中可能比HNSW更快？
IVF通过将数据集划分为多个簇，只搜索相关簇，减少了距离计算次数；现代量化技术进一步压缩数据，降低计算开销；IVF更适合磁盘操作，内存需求低，因此在大规模数据集上更高效。
量化技术如何提升向量搜索效率？
量化将高维向量压缩为紧凑表示，如将32位浮点数转为1位，减少内存和磁盘占用，降低距离计算复杂度。例如，RaBitQ实现32倍压缩，PQ提供4-64倍压缩，SQ约4倍压缩。量化后通过快速扫描优化，计算速度可提升100倍以上。
RaBitQ+IVF相比HNSW在内存和磁盘访问方面有什么优势？
RaBitQ将向量压缩32倍，使量化数据集可放入内存，IVF只需从磁盘获取100-200个向量进行重排序，而HNSW可能需要800-1000个，因此内存和磁盘访问更高效。
为什么量化技术难以有效应用于HNSW？
因为HNSW的图结构需要随机访问，与Fast Scan优化所需的向量打包不兼容；HNSW的随机访问模式导致遍历效率低下，而IVF的顺序组织便于预取和顺序扫描。
IVF在插入和删除操作上相比HNSW有什么优势？
IVF的插入和删除只需更新相关的发布列表，操作简单；而HNSW需要级联修改整个图，导致显著的计算和写放大，因此IVF更高效。
文章对向量搜索实践者提出了什么建议？
建议实践者在大规模数据集上采用IVF结合量化技术（如RaBitQ）替代HNSW，因为IVF更简单、可扩展且成本效益高，而HNSW更适合中小型应用。
