Qdrant 1.11 - 向量堡垒:优化数据结构以实现规模和效率

Qdrant 1.11 - 向量堡垒:优化数据结构以实现规模和效率

💡 原文英文,约3100词,阅读约需12分钟。
📝

内容提要

Qdrant 1.11.0发布,优化内存使用和段优化等功能,新增数据结构、碎片整理、负载索引等小功能,提高系统性能和资源利用率,减少内存使用和存储成本。

🔎

延伸解读

多租户存储碎片整理:提升数据局部性

Qdrant 1.11 引入的碎片整理功能,通过将同一租户的向量在磁盘上相邻存储,优化了多租户场景下的数据局部性。这能加快批量读取速度,并降低扩展成本。用户只需在创建负载索引时设置 is_tenant=true,系统便会在后续优化中自动重组存储结构。对于管理多个用户、区域或工作空间的应用,这一改进能显著提升资源利用效率。

磁盘负载索引与UUID优化:降低内存占用

新版本支持将不常用的负载索引存储在磁盘上,通过设置 on_disk=true,可将“冷”数据移出内存,为“热”数据腾出空间。同时,针对UUID数据类型,新的索引类型以字节形式存储,相比字符串节省约2.25倍内存。这两项优化特别适合拥有数十亿记录和大量租户的场景,能有效降低集群规模与成本。

查询API增强:分组、随机抽样与DBSF融合

1.11 为查询API添加了分组端点,可按负载字段(如 document_id)对结果分组,避免重复条目。随机抽样功能允许从大数据集中随机选取子集,用于降低计算负载或分析。此外,新增的基于分布的得分融合(DBSF)方法,通过归一化各查询的得分并求和,提升了混合搜索的结果融合效果。这些功能让查询更灵活、高效。

Web UI新工具:实时评估搜索质量与图形探索

Qdrant 1.11 的Web UI新增了搜索质量工具和图形探索工具。搜索质量工具允许用户实时测试语义搜索请求的精度,并与精确搜索对比。图形探索工具则通过可视化向量搜索,帮助用户在探索和推荐场景中直观地调整搜索方向,使结果更贴合偏好。这些工具降低了调试和探索的门槛,提升了开发效率。

❓

Q&A

Qdrant 1.11.0的主要更新内容是什么?

Qdrant 1.11.0主要优化了内存使用和段优化,新增了数据结构、碎片整理和负载索引等功能。

如何优化多租户工作负载的存储?

通过将同一租户的向量存储在磁盘上更紧凑的位置,可以加快批量读取速度并降低扩展成本。

Qdrant 1.11.0中新增的查询API功能有哪些?

新增的查询API功能包括按特定负载字段分组结果和随机抽样功能。

UUID数据类型在Qdrant中如何优化内存使用?

通过将UUID存储为原始字节而非字符串,可以将内存开销减少至原来的2.25倍。

Qdrant 1.11.0中如何实现随机抽样?

可以通过查询API设置随机抽样,从较大的数据集中随机选择子集。

Qdrant的Web UI工具有哪些新功能?

新增的Web UI工具包括搜索质量工具和图形探索工具,用于实时测试搜索请求和可视化向量搜索。

🏷️

标签

➡️

继续阅读