Qdrant 1.10 - 统一查询、内置IDF及ColBERT支持

Qdrant 1.10 - 统一查询、内置IDF及ColBERT支持

💡 原文英文,约2600词,阅读约需10分钟。
📝

内容提要

Qdrant 1.10版本推出了统一查询API、内置逆文档频率(IDF)支持和多向量搜索等重要功能。统一查询API简化了搜索请求,IDF机制提升了文档检索效率,多向量支持增强了语义理解能力。此外,优化了稀疏向量的存储方式,降低了内存占用。

🔎

延伸解读

统一查询API简化复杂搜索流程

Qdrant 1.10将多种搜索API整合到单一的Query端点,支持最近邻、融合、发现、上下文、推荐和按payload排序等参数。开发者无需在客户端合并不同搜索结果,简化了代码并减少错误。例如,混合搜索现在只需在请求中配置稀疏和密集向量的预取及融合策略,后端自动处理结果合并。这降低了使用门槛,尤其适合需要复杂检索逻辑的应用。

内置IDF提升稀疏向量检索效率

新版本将逆文档频率(IDF)计算移至Qdrant引擎内部,支持流式更新稀疏嵌入并保持IDF值最新。此前需在客户端计算IDF,现在只需在集合配置中启用IDF修饰符。这消除了文档增删时重新计算IDF的负担,并提升了与BM25等算法的兼容性。结合BM42算法,利用注意力矩阵确定令牌重要性,在短文本RAG场景中表现更优。

多向量支持增强语义理解与重排序

Qdrant 1.10原生支持多向量搜索,兼容ColBERT等后期交互模型。通过Query API,可在单次请求中实现多阶段重排序,例如先预取大量候选,再用全向量和ColBERT向量逐步精排。这提升了检索质量,同时支持量化压缩。多向量还可用于存储同一商品的多个图像,作为分组方法的替代。

存储优化与运维功能改进

稀疏向量采用float16数据类型和位打包压缩,内存占用最多降低75%,提升处理效率。新增S3快照存储,可将备份保存到AWS S3或兼容存储,降低成本并增强可靠性。Issues API帮助管理员跟踪性能问题和配置错误。Rust客户端重构为构建器模式,提供更简洁的API和安全并发执行。

❓

Q&A

Qdrant 1.10版本有哪些新功能?

Qdrant 1.10版本推出了统一查询API、内置IDF支持、多向量搜索、稀疏向量存储优化、新Rust客户端和S3快照存储等功能。

什么是统一查询API,它有什么优势?

统一查询API将所有搜索API集中在一个查询端点上,简化了搜索请求,用户可以通过单一请求配置多个参数,避免了合并结果的复杂性。

IDF机制在Qdrant中如何提升文档检索效率?

IDF机制内置于Qdrant引擎中,自动计算文档的重要性,避免了客户端手动计算,提高了检索效率。

多向量搜索支持ColBERT模型有什么好处?

多向量搜索支持ColBERT模型可以增强语义理解能力,提供更好的向量检索质量,适合高维相似性搜索。

Qdrant 1.10如何优化稀疏向量的存储?

Qdrant 1.10采用float16数据类型来存储稀疏向量,降低了内存占用,提高了处理效率。

S3快照存储功能的主要优势是什么?

S3快照存储提供低成本的备份解决方案,具有全球可靠性和可扩展性,适合数据丢失恢复和数据传输。

🏷️

标签

➡️

继续阅读