小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文讨论了向量检索引擎Milvus的架构与功能,重点介绍了HNSW、DiskANN、IVF-PQ等算法的应用,以及向量库的选型与RAG召回机制。内容涵盖写路径、读路径和索引内核,适合RAG和AI平台工程师、数据平台工程师等专业人士阅读。

【向量检索引擎】Milvus · Segcore · Knowhere · Qdrant · Lance

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus的四层坐标系,包括Collection、Partition、Segment和Channel。Collection是用户可见的向量表,Partition用于数据隔离。Channel与Streaming Node绑定,支持水平扩展写入。Segment分为Growing和Sealed,Growing可变且支持实时查询,Sealed不可变用于历史检索。Growing转为Sealed的过程称为flush,数据通过handoff转移至Query Node。整体架构强调实时性与历史数据管理。

【向量检索引擎】Collection · Partition · Segment · Channel:Growing 到 Sealed 的状态机

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x的架构,重点在于无状态Proxy和单活跃Coordinator的设计。Proxy负责请求校验和结果处理,Coordinator维护拓扑和任务调度。文章还提到时间戳管理和查询视图的路由,强调无状态Worker的优势与挑战,以及单活跃Coordinator在一致性和故障处理中的重要性。

【向量检索引擎】Proxy 与 Coordinator:接入面、TSO 与集群大脑

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus 2.6.x中的Streaming Service和Woodpecker组件,重点在于通过WAL(写前日志)实现高效的数据流处理和查询。Streaming Service负责数据摄入、状态恢复和查询,采用消息驱动方式确保数据一致性。Woodpecker作为云原生WAL,支持零本地盘存储,提升系统吞吐量和可靠性,优化实时数据检索和处理能力。

【向量检索引擎】Streaming Node 与 Woodpecker WAL:实时可搜的日志层

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了对象存储在Milvus 2.6.x版本向量检索引擎中的应用。对象存储用于保存日志快照、索引文件和查询结果,布局从按字段拆分转向按段整合,以减少API调用次数和延迟。文章还探讨了数据处理路径、索引对象与数据对象的生命周期差异,以及与湖仓对象布局的对比,强调了优化存储布局的重要性。

【向量检索引擎】对象存储上的 Segment 布局:快照、索引与寻址代价

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x的数据处理架构,重点介绍了Growing和Sealed段的查询机制。Growing段由Streaming Node处理,实时更新;Sealed段由Query Node加载历史数据。Query Delegator负责生成查询计划并合并结果。Segcore作为段级执行层,与Knowhere索引内核协同工作,实现高效的向量检索。文章还探讨了查询过程中的数据加载、索引管理及动态更新与不可变索引之间的平衡。

【向量检索引擎】Query Node 与 Segcore:段级 search 如何执行

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

Knowhere 是 Milvus 的向量索引执行引擎,集成了 Faiss、Hnswlib 和 Annoy 等库,支持软删和多种相似度计算。它通过统一的 VecIndex 接口处理索引构建与查询,优化性能并简化开发流程,同时支持自动 SIMD 选择以提升计算效率。

【向量检索引擎】Knowhere:向量索引执行引擎与插件契约

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x版本向量检索引擎中通过多级归并树实现高效搜索的方法,重点介绍了查询路径、Query Delegator的作用及一致性模型对搜索延迟的影响,并强调了分布式搜索的复杂性和一致性管理的重要性。

【向量检索引擎】分布式 search 归并:Delegator、多级 reduce 与 GuaranteeTs

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus 2.6.x中Data Node的功能与架构。Data Node负责历史数据的离线处理,包括索引构建和数据压缩。它通过协调组件调度,处理数据加载、索引生成和清理,确保查询节点高效访问数据。文章还讨论了索引构建策略、数据新鲜度及其对查询性能的影响,以及优化资源调度以减少在线查询延迟的方法。

【向量检索引擎】Data Node:compaction 与 index build

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了在Milvus中将过滤结果转化为bitset的方法,以及选择度对Top-k合并的影响。混合检索流程包括表达式求值、bitset过滤、Knowhere搜索和多级归并。选择度是影响查询效率和结果准确性的关键因素。文章还提到工程中的挑战和未来研究方向。

【向量检索引擎】混合检索与标量过滤:表达式、bitset 与选择度打穿归并

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x中的一致性级别与时间戳管理。用户可以通过可调一致性级别选择等待时间,以确保数据可见性。四级一致性(强一致性、有限一致性、会话一致性、最终一致性)提供不同的延迟与新鲜度折中。文章还探讨了在不同场景下的最佳选择及其与分布式存储的关系,强调了可见性与等待时间的重要性。

【向量检索引擎】一致性模型:四级 GuaranteeTs 与 PACELC 的延迟账

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x版本的内存副本、流服务和数据处理架构。内存副本允许在多个查询节点加载同一段,提高性能和可用性。流服务支持WAL迁移,确保写路径的可用性。通过协调段分布和负载均衡,优化查询和写入性能。文章还探讨了副本的成本和工程间隙,并提出未来的开放问题。

【向量检索引擎】副本、负载与故障恢复:读缓存式副本与 WAL 单所有者

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文对比了Milvus 2.6.x与Qdrant在向量检索引擎中的架构和部署方式。Milvus强调存算分离,采用多组件架构,而Qdrant则提供单节点的简化部署,适合中小规模应用。两者在分布式部署、数据过滤和扩展性方面存在显著差异,选择时需考虑团队需求和运维复杂度。

【向量检索引擎】Qdrant 对照:单库路径、payload 过滤与分片副本

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Lance与Milvus在向量检索引擎中的区别。Lance主要作为存储格式,支持随机访问和可选的ANN索引,适合低并发和离线推理场景;而Milvus是专用的分布式引擎,适合高并发在线检索,特别是在多租户和实时检索方面表现更佳。文章还提到了一些开放问题,如Lance索引与Iceberg事务的对齐。

【向量检索引擎】Lance / LanceDB 对照:格式还是服务

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了向量检索引擎的选型,比较了Milvus、Qdrant和Lance的特点与适用场景。提供了决策树和关键问题,强调持续写入、近似检索和过滤的重要性,并指出了GPU索引和多模态字段融合等开放问题。旨在帮助用户根据负载选择合适的向量引擎。

【向量检索引擎】选型与阅读地图:决策树、RAG 回链与开放问题

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z
Airtable如何构建其AI功能背后的搜索层

Airtable构建了一个支持自然语言查询的语义搜索系统,面临数据规模、查询速度和隐私等挑战。通过使用Milvus数据库和HNSW索引,Airtable实现了高效的数据处理和快速响应。团队分析用户行为,优化了内存使用,确保系统的高效性和可靠性。

Airtable如何构建其AI功能背后的搜索层

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-05-27T15:30:43Z
Redis与Milvus:比较指南

在构建AI应用时,选择Milvus或Redis取决于具体需求。Milvus专注于向量搜索,适合大规模工作负载,但部署较复杂;Redis则集成了向量搜索、缓存和实时数据,管理更简便,适合多种实时操作。选择时需考虑团队能力和工作负载类型。

Redis与Milvus:比较指南

Redis Blog
Redis Blog · 2026-03-05T00:00:00Z
<span class=“js_title_inner“>Dify、LangChain、Cherry Studio、Milvus联手拆解大模型开发的未来范式</span>

在文心Moment大会上,专家探讨了Agent开发的未来,强调从简单的Prompt到深度智能体的转变,分析了单Agent与多Agent的优缺点,指出企业更需确定性。同时,RAG系统也在不断进化,未来将更加精细化。开发者需提升抽象工作流的能力,以适应AI时代的变化。

<span class=“js_title_inner“>Dify、LangChain、Cherry Studio、Milvus联手拆解大模型开发的未来范式</span>

百度大脑
百度大脑 · 2026-02-02T11:35:50Z
Dify、LangChain、Cherry Studio、Milvus联手拆解大模型开发的未来范式

在文心Moment大会上,专家讨论了Agent开发的未来,强调从简单Prompt到深度智能体的转变,分析了单Agent与多Agent的优缺点,指出企业需要确定性。同时,RAG系统需精细化,开发者应提升工作抽象能力,以适应AI时代。

Dify、LangChain、Cherry Studio、Milvus联手拆解大模型开发的未来范式

百度大脑
百度大脑 · 2026-02-02T11:35:50Z
RAG 教程笔记(Task03)

向量嵌入技术将复杂数据转化为低维向量,提升检索质量。多模态嵌入实现跨模态对齐,打破数据类型壁垒。向量数据库高效管理和查询高维向量,支持AI应用。Milvus是开源的分布式向量数据库,适合大规模相似性搜索,通过优化索引提升检索精确性与效率。

RAG 教程笔记(Task03)

程序员充电站
程序员充电站 · 2025-12-25T08:54:47Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码