向量搜索中的产品量化 | Qdrant
内容提要
Qdrant 1.2.0引入产品量化技术，通过将浮点数转换为整数，显著降低内存使用。该技术利用K-means算法将向量分割为子向量，生成256个质心，适合低内存环境和高维数据。用户可参考文档配置此功能，实现高达64倍的内存减少。
延伸解读
产品量化的核心机制
产品量化通过将向量分割为多个子向量，并对每个子向量独立进行K-means聚类，生成256个质心。每个子向量用其最近质心的ID（单字节）表示，从而大幅压缩存储。例如，16倍压缩时，每个子向量由4个浮点数（16字节）变为1字节。这种方法在降低内存的同时，会引入精度损失，因为原始子向量被质心近似替代。
压缩率与精度的权衡
Qdrant允许配置4倍至64倍的压缩率。压缩率越高，子向量数量越少，内存占用越低，但搜索精度下降越明显。基准测试显示，在Glove-100数据集上，12倍压缩时平均精度从0.7158降至0.5854；在Arxiv数据集上，32倍压缩时精度从0.9837降至0.6618。用户需根据应用对精度和内存的敏感度选择合适的压缩比。
性能影响：时间与内存的博弈
产品量化可能增加索引和搜索时间，但并非绝对。在Arxiv数据集上，8倍压缩时搜索时间从2719微秒降至2053微秒，而Glove-100数据集上搜索时间略有增加。索引时间通常随压缩率提高而增加，但高压缩率下可能因数据量减少而缩短。总体而言，产品量化以时间换空间，适合内存受限场景。
与标量量化的选择建议
标量量化将浮点数转为int8，实现最高4倍压缩，精度损失较小。产品量化压缩率更高（可达64倍），但精度损失更大，且可能影响搜索速度。产品量化更适合低内存环境、高维向量且索引速度不敏感的场景；其他情况下，标量量化是更平衡的选择。用户应根据实际资源与精度需求进行权衡。
Q&A
什么是产品量化技术？
产品量化技术是将浮点数转换为整数，以降低内存使用的技术，使用K-means算法将向量分割为子向量，生成256个质心。
产品量化如何影响内存使用和搜索精度？
产品量化可以显著降低内存使用，最高可达64倍，但可能会增加索引和搜索时间，并在某些情况下降低搜索精度。
用户如何配置产品量化功能？
用户可以通过Qdrant的文档配置产品量化功能，选择压缩比和子向量数量，以实现最佳的内存使用效果。
产品量化与标量量化有什么区别？
产品量化提供更高的压缩率，但在准确性和搜索速度上存在权衡，而标量量化在其他情况下更为推荐。
在什么情况下推荐使用产品量化？
产品量化适用于低内存环境和高维数据的情况，而在其他情况下，标量量化更为推荐。
产品量化的实现过程是怎样的？
产品量化的实现过程包括将向量分割为子向量、使用K-means算法进行聚类，并计算查询向量与质心之间的距离。
