Qdrant中的TurboQuant

Qdrant中的TurboQuant

💡 原文英文,约3000词,阅读约需11分钟。
📝

内容提要

Qdrant 1.18引入了TurboQuant,这是一种新的基于旋转的向量量化方法,提供8x、16x和32x的压缩率。与标量量化和二进制量化相比,TurboQuant在存储效率和召回率上表现更佳。建议用户在测试数据上尝试TurboQuant配置,以实现更高的召回率和更低的存储需求。该方法无需数据集训练,适用于各种嵌入模型。

🎯

关键要点

  • Qdrant 1.18引入了TurboQuant,这是一种新的基于旋转的向量量化方法,提供8x、16x和32x的压缩率。

  • TurboQuant在存储效率和召回率上优于标量量化(SQ)和二进制量化(BQ)。

  • 建议用户在测试数据上尝试TurboQuant配置,以实现更高的召回率和更低的存储需求。

  • TurboQuant无需数据集训练,适用于各种嵌入模型。

  • TurboQuant的4位量化在大多数数据集上与SQ相当,且存储需求减少一半。

  • TurboQuant的2位和1位量化在相同存储预算下,召回率显著高于BQ。

  • TurboQuant的实现包括长度重标定和每坐标校准,以提高量化精度。

  • TurboQuant支持余弦、点积和L2距离计算,适用于多种相似性度量。

延伸问答

TurboQuant是什么?

TurboQuant是一种基于旋转的向量量化方法,提供8x、16x和32x的压缩率,旨在提高存储效率和召回率。

TurboQuant与标量量化和二进制量化相比有什么优势?

TurboQuant在存储效率和召回率上优于标量量化(SQ)和二进制量化(BQ),尤其在相同存储预算下能提供更高的召回率。

如何在Qdrant中启用TurboQuant?

在集合配置的quantization_config部分中指定TurboQuant,使用PUT请求更新集合配置即可。

TurboQuant的量化精度是如何提高的?

TurboQuant通过长度重标定和每坐标校准来提高量化精度,确保量化后的向量更接近原始向量。

在什么情况下应该使用TurboQuant?

如果你当前使用SQ或BQ,建议尝试TurboQuant配置,通常能在相同存储预算下获得更高的召回率。

TurboQuant支持哪些相似性度量?

TurboQuant支持余弦、点积和L2距离计算,适用于多种相似性度量。

➡️

继续阅读