My binary vector search is better than your FP32 vectors
内容提要
二进制向量搜索通过减少内存消耗取得了30倍的减少，但准确性有争议。实验发现，使用二进制向量搜索和优化技术可以保持准确性。自适应检索方法可以提高准确性。与缩短向量相比，二进制向量明显优于缩短向量。自适应检索配合1024维索引实现了更高的准确率。通过利用自适应检索技术，二进制向量可以在减少内存使用量的同时保持高水平的准确性。
延伸解读
二进制向量搜索的准确性权衡
文章实验显示，二进制向量搜索在将内存使用减少约30倍的同时，准确率降至约80%。这意味着在需要高准确性的关键场景中，直接使用二进制向量可能不可接受。然而，通过自适应检索优化，准确率可提升至95%左右，同时保持较高的吞吐量。因此，二进制向量并非完全替代原始向量，而是需要在准确性和效率之间做出权衡。
自适应检索的工作原理与效果
自适应检索结合了二进制向量搜索的效率和KNN重排序的准确性。具体步骤是：先通过二进制向量索引快速检索出较大候选集（如200个），再用KNN对候选集重新排序得到最终结果。实验表明，这种方法能将准确率提升至95%，同时RPS保持在1700左右，内存占用仍远低于原始向量。这为高吞吐量场景提供了一种可行的折中方案。
与缩短向量方法的对比
文章将二进制向量与缩短向量（如将3072维截断为1024或256维）进行了对比。实验结果显示，二进制向量在RPS约3000时准确率约80%，内存约600MB；而1024维缩短向量在RPS约1000时准确率约85%，内存约8GB；256维缩短向量在RPS约1200时准确率仅约60%，内存约2GB。因此，二进制向量在内存效率和吞吐量上明显优于缩短向量，但准确率略低。
适用场景与局限性
二进制向量搜索及其自适应检索优化特别适合内存受限且需要高吞吐量的场景，如大规模向量检索。但文章也指出，这些结果特定于OpenAI text-embedding-3-large模型，其他模型可能表现不同。此外，自适应检索虽然提高了准确率，但增加了重排序步骤，可能引入额外延迟。因此，在实际应用中需根据具体需求和资源进行测试和选择。
Q&A
二进制向量搜索的内存消耗减少了多少？
二进制向量搜索通过减少内存消耗取得了30倍的减少。
二进制向量搜索的准确性如何？
二进制向量搜索的准确性降低到约80%，在某些情况下可能不可接受，但通过优化可以保持较高的准确性。
自适应检索方法如何提高二进制向量的准确性？
自适应检索通过先快速检索候选项，然后使用KNN重新排序来提高准确性，最高可达95%。
二进制向量搜索的每秒请求数是多少？
二进制向量搜索的每秒请求数约为3000，而原始向量搜索的RPS仅约为300。
与缩短向量相比，二进制向量的优势是什么？
二进制向量在每秒3000个请求的情况下实现约80%的准确率，且内存使用量显著低于缩短向量。
自适应检索的内存使用量如何？
自适应检索配合1024维索引的内存使用量增加了12倍，但准确率可提高至99%。
