乔纳森·卡茨：用于pgvector向量搜索和存储的标量和二进制量化
💡
原文英文，约5000词，阅读约需19分钟。
📝
内容提要
本文讨论了在PostgreSQL中使用标量和二进制量化技术进行向量搜索和存储的方法。标量量化可以减小向量维度的大小，而二进制量化将维度减小为一个比特位。文章提供了实现这些技术的示例，并评估了它们对索引构建时间、查询性能和召回率的影响。结果显示，使用2字节浮点数的标量量化是明显的优选，既提供了空间和时间的节省，又不损失性能。二进制量化也可以有效，但其对召回率的影响取决于向量的多样性。总体而言，有效的量化技术可以减小存储和内存占用，实现向量工作负载的可扩展性。
🎯
关键要点
- 高维向量存储会占用大量内存和存储空间，影响系统性能。
- 标量量化和二进制量化是减少向量维度和存储需求的有效技术。
- 标量量化将维度减少为更小的数据类型，二进制量化将维度减少为单个比特位。
- pgvector 0.7.0版本将支持标量和二进制量化，允许更高维度的向量索引。
- 标量量化使用2字节浮点数（halfvec）能显著节省空间和构建时间，同时保持性能。
- 二进制量化在存储效率上表现优异，但对召回率的影响取决于向量的多样性。
- 有效的量化技术可以实现向量工作负载的可扩展性，减少存储和内存占用。
- 测试表明，使用标量量化时，查询性能和召回率几乎与原始向量相同。
- 二进制量化需要进行重排序以提高召回率，尤其是在向量多样性不足时。
- 未来的实验将探讨更复杂的量化组合和对性能的影响。
➡️
