内容提要
Qdrant 1.18引入了TurboQuant,这是一种新的基于旋转的向量量化方法,提供8x、16x和32x的压缩率。与标量量化和二进制量化相比,TurboQuant在存储效率和召回率上表现更佳。建议用户在测试数据上尝试TurboQuant配置,以实现更高的召回率和更低的存储需求。该方法无需数据集训练,适用于各种嵌入模型。
关键要点
-
Qdrant 1.18引入了TurboQuant,这是一种新的基于旋转的向量量化方法,提供8x、16x和32x的压缩率。
-
TurboQuant在存储效率和召回率上优于标量量化(SQ)和二进制量化(BQ)。
-
建议用户在测试数据上尝试TurboQuant配置,以实现更高的召回率和更低的存储需求。
-
TurboQuant无需数据集训练,适用于各种嵌入模型。
-
TurboQuant的4位量化在大多数数据集上与SQ相当,且存储需求减少一半。
-
TurboQuant的2位和1位量化在相同存储预算下,召回率显著高于BQ。
-
TurboQuant的实现包括长度重标定和每坐标校准,以提高量化精度。
-
TurboQuant支持余弦、点积和L2距离计算,适用于多种相似性度量。
延伸问答
TurboQuant是什么?
TurboQuant是一种基于旋转的向量量化方法,提供8x、16x和32x的压缩率,旨在提高存储效率和召回率。
TurboQuant与标量量化和二进制量化相比有什么优势?
TurboQuant在存储效率和召回率上优于标量量化(SQ)和二进制量化(BQ),尤其在相同存储预算下能提供更高的召回率。
如何在Qdrant中启用TurboQuant?
在集合配置的quantization_config部分中指定TurboQuant,使用PUT请求更新集合配置即可。
TurboQuant的量化精度是如何提高的?
TurboQuant通过长度重标定和每坐标校准来提高量化精度,确保量化后的向量更接近原始向量。
在什么情况下应该使用TurboQuant?
如果你当前使用SQ或BQ,建议尝试TurboQuant配置,通常能在相同存储预算下获得更高的召回率。
TurboQuant支持哪些相似性度量?
TurboQuant支持余弦、点积和L2距离计算,适用于多种相似性度量。