小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

> 本文是写作规划,不是可发布正文。拆解对象:Milvus 2.6.x 主线(存算分离、Proxy / Coordinator / Streaming·Query·Data Node、Segcore + Knowhere);Qdrant、Lance / LanceDB 作对照。不写 embedding 模型训练,不写…

向量检索引擎 — 系列规划

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-13T14:01:15Z

本文介绍了Milvus的四层坐标系,包括Collection、Partition、Segment和Channel。Collection是用户可见的向量表,Partition用于数据隔离。Channel与Streaming Node绑定,支持水平扩展写入。Segment分为Growing和Sealed,Growing可变且支持实时查询,Sealed不可变用于历史检索。Growing转为Sealed的过程称为flush,数据通过handoff转移至Query Node。整体架构强调实时性与历史数据管理。

【向量检索引擎】Collection · Partition · Segment · Channel:Growing 到 Sealed 的状态机

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了向量检索引擎Knowhere的架构与索引类型,包括HNSW、DiskANN和IVF-PQ等算法的应用。强调了在训练、构建、加载和查询四个阶段的参数管理,指出Flat索引是金标准但不应作为默认选择。文章还探讨了索引生命周期与段的关系,以及插件契约的实现步骤,提出了多索引参数组合的开放问题。

【向量检索引擎】ANN 算法工程接口:从 HNSW/IVF 到 Knowhere 契约

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了向量库中的删除、更新和过期策略。删除操作可通过过滤或主键进行,采用软删方式以保持数据一致性。更新操作(Upsert)根据主键决定插入或更新,提供覆盖和合并两种模式。集合的TTL属性允许自动删除过期数据,删除和更新操作的可见性受一致性约束。逻辑删除和物理回收是分开的,需注意容量规划。

【向量检索引擎】Delete · Upsert · TTL:软删生命周期与覆盖写的两条路径

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了向量检索引擎Milvus的架构与功能,重点介绍了HNSW、DiskANN、IVF-PQ等算法的应用,以及向量库的选型与RAG召回机制。内容涵盖写路径、读路径和索引内核,适合RAG和AI平台工程师、数据平台工程师等专业人士阅读。

【向量检索引擎】Milvus · Segcore · Knowhere · Qdrant · Lance

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x中的一致性级别与时间戳管理。用户可以通过可调一致性级别选择等待时间,以确保数据可见性。四级一致性(强一致性、有限一致性、会话一致性、最终一致性)提供不同的延迟与新鲜度折中。文章还探讨了在不同场景下的最佳选择及其与分布式存储的关系,强调了可见性与等待时间的重要性。

【向量检索引擎】一致性模型:四级 GuaranteeTs 与 PACELC 的延迟账

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

Knowhere 是 Milvus 的向量索引执行引擎,集成了 Faiss、Hnswlib 和 Annoy 等库,支持软删和多种相似度计算。它通过统一的 VecIndex 接口处理索引构建与查询,优化性能并简化开发流程,同时支持自动 SIMD 选择以提升计算效率。

【向量检索引擎】Knowhere:向量索引执行引擎与插件契约

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了在Milvus中将过滤结果转化为bitset的方法,以及选择度对Top-k合并的影响。混合检索流程包括表达式求值、bitset过滤、Knowhere搜索和多级归并。选择度是影响查询效率和结果准确性的关键因素。文章还提到工程中的挑战和未来研究方向。

【向量检索引擎】混合检索与标量过滤:表达式、bitset 与选择度打穿归并

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文对比了Milvus 2.6.x与Qdrant在向量检索引擎中的架构和部署方式。Milvus强调存算分离,采用多组件架构,而Qdrant则提供单节点的简化部署,适合中小规模应用。两者在分布式部署、数据过滤和扩展性方面存在显著差异,选择时需考虑团队需求和运维复杂度。

【向量检索引擎】Qdrant 对照:单库路径、payload 过滤与分片副本

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x的架构,重点在于无状态Proxy和单活跃Coordinator的设计。Proxy负责请求校验和结果处理,Coordinator维护拓扑和任务调度。文章还提到时间戳管理和查询视图的路由,强调无状态Worker的优势与挑战,以及单活跃Coordinator在一致性和故障处理中的重要性。

【向量检索引擎】Proxy 与 Coordinator:接入面、TSO 与集群大脑

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文介绍了Milvus 2.6.x中Data Node的功能与架构。Data Node负责历史数据的离线处理,包括索引构建和数据压缩。它通过协调组件调度,处理数据加载、索引生成和清理,确保查询节点高效访问数据。文章还讨论了索引构建策略、数据新鲜度及其对查询性能的影响,以及优化资源调度以减少在线查询延迟的方法。

【向量检索引擎】Data Node:compaction 与 index build

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x版本的内存副本、流服务和数据处理架构。内存副本允许在多个查询节点加载同一段,提高性能和可用性。流服务支持WAL迁移,确保写路径的可用性。通过协调段分布和负载均衡,优化查询和写入性能。文章还探讨了副本的成本和工程间隙,并提出未来的开放问题。

【向量检索引擎】副本、负载与故障恢复:读缓存式副本与 WAL 单所有者

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x的数据处理架构,重点介绍了Growing和Sealed段的查询机制。Growing段由Streaming Node处理,实时更新;Sealed段由Query Node加载历史数据。Query Delegator负责生成查询计划并合并结果。Segcore作为段级执行层,与Knowhere索引内核协同工作,实现高效的向量检索。文章还探讨了查询过程中的数据加载、索引管理及动态更新与不可变索引之间的平衡。

【向量检索引擎】Query Node 与 Segcore:段级 search 如何执行

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Lance与Milvus在向量检索引擎中的区别。Lance主要作为存储格式,支持随机访问和可选的ANN索引,适合低并发和离线推理场景;而Milvus是专用的分布式引擎,适合高并发在线检索,特别是在多租户和实时检索方面表现更佳。文章还提到了一些开放问题,如Lance索引与Iceberg事务的对齐。

【向量检索引擎】Lance / LanceDB 对照:格式还是服务

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了排障过程中常见错误,指出故障原因多在可见性和段状态等方面,而非仅限于ef/nprobe。提供了检查清单,涵盖召回、延迟和堆积等问题,建议通过定量分析症状来定位问题,避免主观判断,并提出了开放问题和改进方向。

【向量检索引擎】生产排障:召回、延迟、堆积、OOM

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z
向量即一切:拆解ChatGPT底层的乘法加法与空间折叠

文章探讨了AI基础设施中的向量、神经网络和深度学习的核心概念。向量将词语转化为数字以计算相似度,点积运算用于衡量向量对齐程度。神经网络通过多层结构重塑输入,激活函数影响学习效果,损失函数定义错误,训练通过梯度下降优化模型参数。文章指出当前模型在处理上下文时的局限性,强调Transformer架构的重要性。

向量即一切:拆解ChatGPT底层的乘法加法与空间折叠

极道
极道 · 2026-07-10T04:28:00Z

在将Elasticsearch集群迁移到无服务器时,发现密集向量在文档源中未显示。Elasticsearch为了节省存储,故意省略向量字段。要显示向量字段,需要在搜索API中添加参数:`{ "_source": { "exclude_vectors": false } }`。

文档源中未显示的密集向量

jdhao's blog
jdhao's blog · 2026-07-07T16:18:29Z
HotSpot JVM中的SIMD向量 - 自动向量化与向量API

本文讨论了Oracle Java团队在HotSpot JVM上的最新工作,重点介绍了JDK 26中的自动向量化和向量API的改进。内容涵盖现代JVM特性如何提升CPU向量指令性能,以及在实际Java代码中的应用,包括SuperWord算法、循环形状和性能影响等主题,并提供了向量API的使用示例和性能基准。

HotSpot JVM中的SIMD向量 - 自动向量化与向量API

insidejava
insidejava · 2026-07-02T00:00:00Z
比较最佳开源向量数据库

开源向量数据库分为专用工具和统一平台。Redis将向量搜索、缓存和数据操作整合为实时数据平台,简化管理。选择合适的数据库需考虑规模和基础设施需求。Redis支持快速向量搜索和语义缓存,适合生产AI应用。

比较最佳开源向量数据库

Redis Blog
Redis Blog · 2026-07-01T00:00:00Z
我把775篇收藏塞进4MB向量库:一个比Karpathy Wiki更能"翻箱底"的RAG skill

文章介绍了chao-rag-wiki技能,该技能通过将775篇文章存入4MB的向量库,实现快速检索和知识管理。与Karpathy的llm-wiki不同,chao-rag-wiki直接对原文进行语义索引,支持混合检索,能更全面地召回信息。两者各有优缺点,前者适合查找整理好的知识,后者适合快速检索原始资料。

我把775篇收藏塞进4MB向量库:一个比Karpathy Wiki更能"翻箱底"的RAG skill

鸟窝
鸟窝 · 2026-06-29T14:25:37Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码