小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
pgvector 与专用向量数据库:生产环境基准测试

文章比较了pgvector与专用向量数据库。pgvector是Postgres扩展,可在同一数据库内同时存储向量与关系数据,支持多种向量类型和距离函数。作者用Docker在本地对pgvector和Qdrant做基准测试,但10万向量的规模太小,难以得出结论。文章引用Tiger Data的5000万向量生产级测试:在99%召回率下,pgvector配合pgvectorscale吞吐达471 QPS,远超Qdrant的41 QPS;但Qdrant尾延迟更优,p99为38.71ms对74.60ms,索引构建也快约3.4倍。结论:千万级以下、需要事务一致性的场景选pgvector;超大规模、严格尾延迟SLA或零运维需求的场景选专用数据库。

pgvector 与专用向量数据库:生产环境基准测试

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-20T11:00:00Z
Poliscope如何借助Qdrant在一台服务器上实现全德国地方政治内容可搜索

Poliscope将德国约1.1万个市镇的议会文件(议程、纪要、规划等)经OCR处理后建成统一搜索平台,覆盖约90%市镇。平台采用自托管Qdrant开源版,通过按州多租户分区、区域ID前缀索引和TurboQuant量化优化,使1.3亿向量的混合检索从20秒降至平均0.87秒,全部运行在德国一台服务器上,兼顾数据主权与小团队运维。

Poliscope如何借助Qdrant在一台服务器上实现全德国地方政治内容可搜索

Qdrant - Vector Database Qdrant - Vector Database · 2026-10-15T00:00:00Z
为RAG构建语义缓存

本文介绍为RAG流水线构建语义缓存:用Qdrant存储历史问题向量,命中则跳过知识库检索和LLM调用,节省时间与成本。相似度阈值需按用例校准,建议用金标集划分训练、验证、测试集调优。高阈值只能覆盖近似重复问题,可用Jev分类器处理灰色地带。缓存需设置过期时间,并在源文档变更时失效。

为RAG构建语义缓存

Qdrant - Vector Database Qdrant - Vector Database · 2026-10-09T08:00:00Z
托管云 Prometheus 监控

本教程介绍使用Prometheus和Grafana监控Qdrant托管云数据库。Qdrant提供两个指标端点:/metrics报告单节点指标,需逐节点抓取;/sys_metrics为云专属,聚合全集群数据库指标及容器CPU、内存、磁盘和负载均衡流量,只需抓取一次。步骤:用Helm安装kube-prometheus-stack;创建Secret存储只读API密钥并配置ScrapeConfig抓取/sys_metrics;获取Grafana密码并端口转发访问;从Qdrant GitHub仓库导入示例仪表板。

托管云 Prometheus 监控

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-29T08:00:00Z
Lucy如何利用Qdrant为280多万份SEC和DART文件构建可信来源检索层

Lucy为金融AI构建数据基础设施,将SEC和韩国DART的280多万份监管文件转为可检索数据。其RAG系统采用Qdrant的混合搜索、元数据过滤和量化技术,在FinanceBench上Recall@10达94.7%,仅靠检索即提升答案准确率0.16,使开源小模型表现超过依赖网络搜索的前沿模型,且答案可溯源至原始文件。

Lucy如何利用Qdrant为280多万份SEC和DART文件构建可信来源检索层

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-21T00:00:00Z
Himalayas如何借助Qdrant为10万+远程职位构建语义职位匹配

Himalayas远程招聘平台为超10万职位构建语义匹配,因关键词搜索无法弥合用词差异且成本高,于2023年从Pinecone迁移至Qdrant。Qdrant在同一查询中结合语义检索、关键词匹配与结构化过滤,支撑搜索和个性化推荐等场景,日均处理数十万请求,中位延迟约30毫秒,召回率提升约19个百分点。

Himalayas如何借助Qdrant为10万+远程职位构建语义职位匹配

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-18T00:00:00Z
Qdrant中的双曲嵌入

本文介绍双曲嵌入在Qdrant中的应用。双曲空间适合表示层级数据,比欧氏空间更高效:5维Poincaré嵌入在商品分类上达到0.905 MAP,优于50维欧氏嵌入的0.658。但直接使用HNSW索引会导致召回率下降,需先用HNSW预取候选,再通过Formula Query按真实双曲距离重排,召回率从0.266提升至0.920。

Qdrant中的双曲嵌入

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-08T00:00:00Z
告别糟糕的基准测试:面向生产级研究的工具

Qdrant发布全球最大开源向量搜索基准数据集Qdrant-FineWeb-10B,含约25TB向量数据及精确ground truth,并开源Supernova框架,支持分布式嵌入生成、暴力KNN计算和性能评测,旨在替代合成基准,推动生产级向量搜索的可靠性与可复现性。

告别糟糕的基准测试:面向生产级研究的工具

Qdrant - Vector Database Qdrant - Vector Database · 2026-09-01T00:00:00Z
Qdrant 中的内存层级:何时使用何种内存

Qdrant 通过固定、缓存、冷存储三层管理内存,并结合量化压缩向量。小集合可全部缓存;内存瓶颈时固定量化向量副本以兼顾速度与低占用;磁盘受限时先量化再转冷存储。避免同时缓存全精度与压缩副本,谨慎使用 HNSW 内联存储。

Qdrant 中的内存层级:何时使用何种内存

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-28T08:00:00Z
Qdrant中的内存层级:何时使用何种配置

Qdrant支持将向量、HNSW图、量化向量等分配到不同内存层级(固定、缓存、冷存储),以平衡速度与成本。建议在RAM紧张时固定量化向量,冷存储时配合量化减少磁盘读取,避免缓存全精度与压缩副本共存。HNSW内联存储需测试,并随扩展持续检查RAM余量。

Qdrant中的内存层级:何时使用何种配置

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-28T08:00:00Z
GPU 加速的 HNSW 索引

Qdrant 自 v1.13 起支持 GPU 加速 HNSW 索引,可显著缩短向量集合重建索引时间。以 10 万条向量对比:GPU 建索引约 6.1 秒,CPU 约 66.3 秒,约快 10 倍;查询吞吐相近,但 CPU 因索引与查询争抢资源,延迟峰值更高。GPU 适合频繁重建索引或常换嵌入模型的场景,否则闲置 GPU 成本不划算。

GPU 加速的 HNSW 索引

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-25T12:55:39Z
配置Qdrant优化器以实现可预测的搜索延迟

Qdrant批量导入后,优化器积压会导致查询延迟飙升。基准测试显示:启用持续索引时,排空阶段p50延迟为780毫秒,优化完成后降至4.3毫秒;禁用索引则稳态延迟高达256毫秒。实验性prevent_unoptimized标志可将排空延迟降至10.2毫秒,但新写入点暂时不可搜索。单段配置稳态最快,但恢复超一小时;限制段大小可加速恢复12.7倍。串行化优化线程可降低p95延迟,但延长排空时间。提高deleted_threshold可避免vacuum干扰搜索。

配置Qdrant优化器以实现可预测的搜索延迟

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-25T08:00:00Z
配置Qdrant优化器以实现可预测的搜索延迟

本文通过基准测试,量化了Qdrant优化器配置对搜索延迟的影响。连续索引虽在加载后需恢复期,但稳态延迟可降180倍;启用prevent_unoptimized能大幅降低排空期延迟,但新点暂不可见。单段配置稳态最快但恢复慢,限制段大小则相反。串行化优化线程可平滑延迟但延长排空。提高删除阈值可避免真空干扰。建议根据负载权衡配置。

配置Qdrant优化器以实现可预测的搜索延迟

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-25T08:00:00Z
混合搜索系统革新——利用Qdrant的查询API构建

Qdrant 1.10引入了新的查询API,允许用户通过组合不同的搜索方法来构建混合搜索系统。查询API支持创建嵌套的多阶段查询,并支持每个点的多个向量。用户可以使用标准指标(如precision@k、MRR或NDCG)评估其搜索系统的效果。文章还讨论了构建混合搜索系统的选项,包括融合和重新排序方法。Qdrant 1.10中的新查询API提供了灵活性,可以尝试不同的设置。

混合搜索系统革新——利用Qdrant的查询API构建

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-24T06:00:00Z
Qdrant 中的混合搜索

混合搜索结合稠密与稀疏检索,兼顾语义相似与精确词匹配。稠密检索擅长同义改写,稀疏检索(如BM25)擅长标识符和专有词。融合方法中,RRF按排名合并以避免分数尺度差异,DBSF则归一化分数。在五个公开数据集上,默认RRF在四个上优于单一检索器。但混合搜索增加存储、索引和查询延迟,需实测收益是否值得成本。

Qdrant 中的混合搜索

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-24T06:00:00Z
当你的集合超出内存容量时

Qdrant向量数据库通过量化与重打分机制应对向量集合超出内存的情况:量化在内存保留压缩副本,原始向量移至磁盘;TurboQuant通过旋转向量均匀分布误差,bits4为常用默认值;重打分读取原始向量修正压缩误差,但增加磁盘读取开销。测试表明,1比特量化配合重打分和过采样可将召回率从0.605恢复至0.951,接近float32基线。建议固定量化副本、原始向量冷存储,并启用io_uring异步读取。

当你的集合超出内存容量时

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-23T21:00:00Z
当集合超出内存时

本文介绍Qdrant向量数据库在集合超出内存时的优化方法。通过量化压缩向量(如TurboQuant bits4)并固定压缩副本在RAM中,原始向量移至磁盘,可减少内存占用。重打分(rescore)虽增加磁盘读取,但能恢复精度,尤其对低比特量化(如bits1)效果显著。建议从bits4开始,根据测试调整参数,并验证召回率与延迟。

当集合超出内存时

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-23T21:00:00Z
如何调优Qdrant中的混合搜索

本文介绍Qdrant混合搜索的调优方法:混合搜索融合稠密与稀疏检索结果,需先用nDCG@10验证融合是否优于单一检索;RRF仅用排名,DBSF利用分数分布,二者需在标注数据上对比;k值决定排名权重衰减,应按每查询相关文档数选择;权重最后调,并在留出查询上验证以避免过拟合。

如何调优Qdrant中的混合搜索

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-21T21:00:00Z
如何调优Qdrant中的混合搜索

本文介绍Qdrant中混合搜索的调优方法。混合搜索结合稠密与稀疏检索,通过融合算法排序。调优前需确认融合优于单一检索,并比较RRF与DBSF融合方法。根据查询相关文档数量选择k值,最后调整权重。需在保留查询集上验证配置,确保效果稳定。调优顺序:确认融合优势、选择融合方法、设定k值、调整权重、验证结果。

如何调优Qdrant中的混合搜索

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-21T21:00:00Z
防止未优化使用

Qdrant v1.17.1 新增 prevent_unoptimized 优化器设置,用于解决批量上传后未索引段导致的搜索延迟。启用后,新点暂缓搜索直至段优化完成,数据仍持久化。测试显示优化时间从 88 秒降至 0.6 秒,查询延迟基本不变,但搜索结果暂时减少、召回率下降,复制集上点可能闪烁。适合写量小、优化快的集合。

防止未优化使用

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-21T14:37:03Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码