TurboQuant是谷歌推出的新算法库，旨在通过量化和压缩技术提高大型语言模型和向量搜索引擎的效率。它能将缓存内存消耗降低至3位，无需重新训练模型。采用PolarQuant和QJL两阶段压缩技术，确保无准确性损失。实验表明，TurboQuant在H100 GPU上性能提升8倍，内存占用减少5.4倍，适用于大规模环境。

TurboQuant has recently been launched by Google as a novel algorithmic suite and library for applying advanced quantization and compression to large language models (LLMs) and vector search...

本研究提出了一种新在线算法TurboQuant，旨在解决向量量化中的均方误差和内积失真问题。该算法通过随机旋转输入向量和优化标量量化器，有效保持几何结构。实验结果表明，其在关键值缓存量化和最近邻搜索中优于现有技术。