处理一百万个向量所需的最小内存
内容提要
本文探讨了Qdrant的内存使用测量与优化。实验表明，处理100万个向量时需约1.2GB内存。使用内存映射文件（mmap）可将内存需求降低至135MB，但搜索速度受限于磁盘性能。切换到本地SSD后，搜索速度提升十倍，显示出Qdrant在内存使用与搜索速度之间的灵活性。
延伸解读
内存测量：为何 htop 可能误导
文章指出，htop 等工具显示的内存使用量可能不准确，因为进程可能预分配内存但未使用、未释放已释放的内存、fork 导致重复计算，或使用磁盘缓存被计入常驻内存。因此，即使 htop 显示 10GB，进程实际所需 RAM 可能更低。要准确测量，应通过限制内存并观察进程何时停止工作来确定最小需求。
内存与速度的权衡：三种配置对比
实验展示了三种配置：全内存存储需约 1.2GB 内存，搜索速度约 780 RPS；仅向量使用 mmap 时，内存可降至 600MB 以上，但速度受磁盘限制；向量和 HNSW 图均使用 mmap 时，内存仅需 135MB，但速度极慢（0.33 RPS）。这表明 Qdrant 允许在内存使用和搜索速度之间灵活取舍。
磁盘性能对搜索速度的关键影响
当使用 mmap 存储时，磁盘速度成为瓶颈。文章通过 fio 测试对比了网络磁盘、本地磁盘和本地 SSD：网络磁盘 IOPS 为 6366，本地磁盘为 63.2k，本地 SSD 为 183k。切换到本地 SSD 后，搜索速度提升约 10 倍。因此，若采用低内存配置，必须搭配高性能磁盘才能满足生产环境需求。
Q&A
处理一百万个向量时，Qdrant需要多少内存？
Qdrant处理一百万个向量时需要约1.2GB内存。
使用内存映射文件（mmap）对内存需求有什么影响？
使用内存映射文件（mmap）后，内存需求可降低至135MB，但搜索速度受限于磁盘性能。
切换到本地SSD后，搜索速度有何变化？
切换到本地SSD后，搜索速度提升十倍。
如何测量Qdrant的实际内存需求？
可以通过限制进程的内存并观察其停止工作的点来测量实际内存需求。
在使用mmap时，内存限制对性能有什么影响？
在使用mmap时，内存限制会影响请求处理速度，600MB内存时系统会出现内存不足。
Qdrant在内存使用和搜索速度之间的灵活性如何体现？
Qdrant提供了可配置的内存使用与搜索速度之间的权衡，允许用户根据需求进行调整。
