标量量化：背景、实践与更多 | Qdrant
内容提要
Qdrant采用标量量化技术，将浮点数转换为整数，显著减少内存占用并提升性能。通过将float32转换为int8，内存需求减少75%。尽管精度略有下降，但搜索速度在高维向量中显著提升。此外，Qdrant支持在量化和原始向量之间结合搜索，以优化速度和准确性。
延伸解读
标量量化的精度与性能权衡
标量量化将float32转换为int8，内存占用减少75%，但会引入精度损失。Qdrant通过分位数参数控制保留范围，通常0.95或0.99，以忽略极端值。基准测试显示，搜索精度下降极小（如Arxiv数据集上仅0.1%），而延迟降低28.57%至60.64%。高维向量下精度损失更小，因此适合对精度要求不苛刻的场景。
重评分机制：平衡速度与准确性
Qdrant允许在量化空间搜索后，用原始向量对top-k结果重评分。这能在保持高召回率的同时提升速度。实验表明，在4.5GB内存下，启用标量量化并重评分，RPS从600提升至10000，精度仅从0.99降至0.989。在2GB内存下，不重评分时RPS高达12000，但精度降至0.974。用户可根据精度需求选择是否启用重评分。
内存与延迟的优化效果
标量量化不仅减少内存，还提升搜索速度。在Arxiv数据集上，上传和索引时间减少23.57%，搜索延迟降低28.57%至60.64%。Gist数据集上，索引时间减少30.79%，延迟降低41.56%至44.16%。这些提升源于整数运算和预计算优化。对于内存受限的环境，量化能显著降低磁盘读取，提升吞吐量。
Q&A
标量量化技术的主要优点是什么？
标量量化技术将浮点数转换为整数，内存需求减少75%，并显著提升搜索速度。
Qdrant如何实现标量量化？
Qdrant通过将float32转换为int8来实现标量量化，从而减少内存占用并提高性能。
标量量化对搜索精度有什么影响？
虽然标量量化会导致精度略有下降，但搜索精度损失微乎其微，且搜索延迟显著减少。
Qdrant支持哪些搜索方式？
Qdrant支持在量化和原始向量之间结合搜索，以优化速度和准确性。
标量量化的基准测试结果如何？
基准测试显示，使用标量量化后，搜索延迟减少28.57%至60.64%，而搜索精度损失微乎其微。
标量量化的转换过程是怎样的？
标量量化通过计算参数α和offset，将浮点数转换为整数，并保持一定的精度。
