小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

> 本文是写作规划,不是可发布正文。拆解对象:Milvus 2.6.x 主线(存算分离、Proxy / Coordinator / Streaming·Query·Data Node、Segcore + Knowhere);Qdrant、Lance / LanceDB 作对照。不写 embedding 模型训练,不写…

向量检索引擎 — 系列规划

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-25T17:14:43Z

以 pgvector v0.8.0 源码钉住 Index AM、8KB 页上的 HNSW element/neighbor 元组与 iterative_scan;对照 Milvus Growing/Sealed 与 Knowhere,说明同进程 SQL 扩展买到的事务边界与付掉的页模型/资源争用代价。

【向量检索引擎】pgvector 内核对照:同进程 SQL 扩展与专用引擎差在哪一层

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-25T00:00:00Z
ClickHouse、S2 和万亿轨迹检索:这类方案真正考验的是工程细节

一篇关于 ClickHouse + S2 地理编码 + 流式检索的技术观察。基于公开摘要可见,这类万亿级轨迹检索方案不只是数据库选型问题,更麻烦的是索引粒度、查询边界、成本控制和线上回滚。

ClickHouse、S2 和万亿轨迹检索:这类方案真正考验的是工程细节

mongona news
mongona news · 2026-07-24T22:38:43Z
AI智能体搜索账单暴涨48倍真相:检索税正在吃掉你的token

你的AI智能体每搜一次网页,账单膨胀48倍,而你还在为它鼓掌? AI智能体靠网页搜索补全知识,但搜索返回的碎片信息让智能体反复抓取页面、解析HTML、提取文本,这笔隐藏的检索税让token消耗暴涨。自建索引把网页预先清洗成完整文档,一次调用直接推理,token成本直降76%。本文拆解三种检索方式的底层差异,揭示跨记录查询的隐藏价值,帮你把AI智能体的搜索账单砍到脚踝。...

AI智能体搜索账单暴涨48倍真相:检索税正在吃掉你的token

极道
极道 · 2026-07-18T23:51:00Z
AI智能体搜索账单暴涨48倍真相:检索税正在吃掉你的token

你的AI智能体每搜一次网页,账单膨胀48倍,而你还在为它鼓掌? AI智能体靠网页搜索补全知识,但搜索返回的碎片信息让智能体反复抓取页面、解析HTML、提取文本,这笔隐藏的检索税让token消耗暴涨。自建索引把网页预先清洗成完整文档,一次调用直接推理,token成本直降76%。本文拆解三种检索方式的底层差异,揭示跨记录查询的隐藏价值,帮你把AI智能体的搜索账单砍到脚踝。...

AI智能体搜索账单暴涨48倍真相:检索税正在吃掉你的token

极道
极道 · 2026-07-18T23:51:00Z

本文讨论了在Elasticsearch和Lucene中结合稀疏BM25与稠密kNN进行混合检索的策略,重点分析了两种索引的共存、查询策略及其对性能的影响。混合检索需同时利用BM25和kNN信号,以确保候选文档的一致性和可比性。文章还探讨了写入路径、代价模型及与专用向量引擎的边界问题,强调了统一Segment生命周期的重要性。

【全文检索引擎】混合检索边界:BM25 与 dense_vector

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-15T00:00:00Z
苹果音乐的多语言语义检索

苹果音乐推出了一种多语言语义检索系统,旨在提升搜索质量,特别是对拼写错误和跨语言查询的响应。该系统基于305M参数的双编码器模型,经过多目标训练优化。在线测试显示,整体转化率提升2.28%,无结果率减少86%,尾部查询转化率提升7.93%,证明了语义检索在困难查询中的有效性。

苹果音乐的多语言语义检索

Apple Machine Learning Research
Apple Machine Learning Research · 2026-07-14T00:00:00Z

本文讨论了Lance与Milvus在向量检索引擎中的区别。Lance主要作为存储格式,支持随机访问和可选的ANN索引,适合低并发和离线推理场景;而Milvus是专用的分布式引擎,适合高并发在线检索,特别是在多租户和实时检索方面表现更佳。文章还提到了一些开放问题,如Lance索引与Iceberg事务的对齐。

【向量检索引擎】Lance / LanceDB 对照:格式还是服务

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了专用向量引擎的重要性,特别是Milvus 2.6.x的四层架构,强调了持续写入、近似检索和分布式服务的功能。探讨了ANN算法与向量数据管理系统的关系,明确了向量引擎在生产环境中的角色与挑战,并提出未来的研究方向。

【向量检索引擎】向量引擎全景:算法、RAG 与专用引擎之间的一层

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了排障过程中常见错误,指出故障原因多在可见性和段状态等方面,而非仅限于ef/nprobe。提供了检查清单,涵盖召回、延迟和堆积等问题,建议通过定量分析症状来定位问题,避免主观判断,并提出了开放问题和改进方向。

【向量检索引擎】生产排障:召回、延迟、堆积、OOM

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了对象存储在Milvus 2.6.x版本向量检索引擎中的应用。对象存储用于保存日志快照、索引文件和查询结果,布局从按字段拆分转向按段整合,以减少API调用次数和延迟。文章还探讨了数据处理路径、索引对象与数据对象的生命周期差异,以及与湖仓对象布局的对比,强调了优化存储布局的重要性。

【向量检索引擎】对象存储上的 Segment 布局:快照、索引与寻址代价

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了向量库中的删除、更新和过期策略。删除操作可通过过滤或主键进行,采用软删方式以保持数据一致性。更新操作(Upsert)根据主键决定插入或更新,提供覆盖和合并两种模式。集合的TTL属性允许自动删除过期数据,删除和更新操作的可见性受一致性约束。逻辑删除和物理回收是分开的,需注意容量规划。

【向量检索引擎】Delete · Upsert · TTL:软删生命周期与覆盖写的两条路径

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x的数据处理架构,重点介绍了Growing和Sealed段的查询机制。Growing段由Streaming Node处理,实时更新;Sealed段由Query Node加载历史数据。Query Delegator负责生成查询计划并合并结果。Segcore作为段级执行层,与Knowhere索引内核协同工作,实现高效的向量检索。文章还探讨了查询过程中的数据加载、索引管理及动态更新与不可变索引之间的平衡。

【向量检索引擎】Query Node 与 Segcore:段级 search 如何执行

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x中的一致性级别与时间戳管理。用户可以通过可调一致性级别选择等待时间,以确保数据可见性。四级一致性(强一致性、有限一致性、会话一致性、最终一致性)提供不同的延迟与新鲜度折中。文章还探讨了在不同场景下的最佳选择及其与分布式存储的关系,强调了可见性与等待时间的重要性。

【向量检索引擎】一致性模型:四级 GuaranteeTs 与 PACELC 的延迟账

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文对比了Milvus 2.6.x与Qdrant在向量检索引擎中的架构和部署方式。Milvus强调存算分离,采用多组件架构,而Qdrant则提供单节点的简化部署,适合中小规模应用。两者在分布式部署、数据过滤和扩展性方面存在显著差异,选择时需考虑团队需求和运维复杂度。

【向量检索引擎】Qdrant 对照:单库路径、payload 过滤与分片副本

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

Knowhere 是 Milvus 的向量索引执行引擎,集成了 Faiss、Hnswlib 和 Annoy 等库,支持软删和多种相似度计算。它通过统一的 VecIndex 接口处理索引构建与查询,优化性能并简化开发流程,同时支持自动 SIMD 选择以提升计算效率。

【向量检索引擎】Knowhere:向量索引执行引擎与插件契约

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了在Milvus中将过滤结果转化为bitset的方法,以及选择度对Top-k合并的影响。混合检索流程包括表达式求值、bitset过滤、Knowhere搜索和多级归并。选择度是影响查询效率和结果准确性的关键因素。文章还提到工程中的挑战和未来研究方向。

【向量检索引擎】混合检索与标量过滤:表达式、bitset 与选择度打穿归并

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus 2.6.x中的Streaming Service和Woodpecker组件,重点在于通过WAL(写前日志)实现高效的数据流处理和查询。Streaming Service负责数据摄入、状态恢复和查询,采用消息驱动方式确保数据一致性。Woodpecker作为云原生WAL,支持零本地盘存储,提升系统吞吐量和可靠性,优化实时数据检索和处理能力。

【向量检索引擎】Streaming Node 与 Woodpecker WAL:实时可搜的日志层

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus的四层坐标系,包括Collection、Partition、Segment和Channel。Collection是用户可见的向量表,Partition用于数据隔离。Channel与Streaming Node绑定,支持水平扩展写入。Segment分为Growing和Sealed,Growing可变且支持实时查询,Sealed不可变用于历史检索。Growing转为Sealed的过程称为flush,数据通过handoff转移至Query Node。整体架构强调实时性与历史数据管理。

【向量检索引擎】Collection · Partition · Segment · Channel:Growing 到 Sealed 的状态机

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus 2.6.x中Data Node的功能与架构。Data Node负责历史数据的离线处理,包括索引构建和数据压缩。它通过协调组件调度,处理数据加载、索引生成和清理,确保查询节点高效访问数据。文章还讨论了索引构建策略、数据新鲜度及其对查询性能的影响,以及优化资源调度以减少在线查询延迟的方法。

【向量检索引擎】Data Node:compaction 与 index build

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码