拜耳如何利用Qdrant构建企业级搜索引擎

拜耳如何利用Qdrant构建企业级搜索引擎

💡 原文英文,约4600词,阅读约需17分钟。
📝

内容提要

拜耳基于Qdrant构建企业级搜索引擎myGenAssist,服务11.6万员工,月处理超150万条消息。系统采用混合云部署,支持混合检索、多模态搜索和智能体记忆,通过语义缓存控制成本,实现约20%效率提升。Qdrant作为可组合检索层,直接向AI代理暴露API,支撑从聊天机器人到自主代理的演进。

🔎

延伸解读

混合云部署的合规与运维平衡

拜耳作为生命科学企业,数据合规要求严格,数据不能离开自有环境。初期自托管Qdrant虽满足合规,但运维负担重,团队规模有限。最终采用混合云模式,利用Kubernetes operator,数据留在本地,集群管理交给Qdrant,兼顾合规与运维效率。这一实践表明,企业级向量数据库部署需在合规、成本和运维能力间权衡,混合云是可行路径。

语义缓存与懒解析的成本控制策略

面对海量文档和深度智能体的高频检索,拜耳通过两项策略控制成本:一是将智能体抓取的网页内容写入Qdrant作为语义缓存,重复查询直接命中,减少外部API调用;二是采用懒解析,文档上传后不立即OCR,仅在智能体需要时按需解析,并缓存结果。据称,懒解析相比预解析可降低约80%的计算成本,语义缓存则显著减少重复查询的延迟和费用。

从聊天机器人到自主智能体的检索架构演进

拜耳最初将Qdrant用于RAG聊天机器人,如今智能体可直接调用Qdrant API,自主选择关键词、语义或混合检索策略,并支持查询扩展(如HYDE)。智能体还能将Qdrant作为记忆存储,实现跨会话上下文。这种可组合检索层设计,使智能体能够根据任务动态调整检索方式,适应从简单问答到深度研究的复杂需求。

企业级搜索的规模化挑战与应对

从千名用户扩展到11.6万员工,拜耳面临数据模型、索引策略和内存管理的挑战。采用双集合策略实现无停机迁移,按租户禁用全局HNSW索引以提升隔离性,使用二进制量化降低内存占用。这些实践表明,企业级向量搜索需关注索引策略、量化技术和租户隔离,以平衡性能与成本。

Q&A

拜耳为什么选择Qdrant作为其企业级搜索引擎的向量数据库?

拜耳在评估多个向量数据库后选择Qdrant,主要因为其开源特性便于快速测试、延迟表现良好、采用Rust编写具有内存效率和可预测性能,以及良好的性价比。

拜耳如何满足生命科学行业的合规要求,同时管理大规模向量数据库?

拜耳采用混合云部署模式,使用Kubernetes operator管理Qdrant,数据保留在拜耳自己的认证云环境中以满足合规要求,同时将集群管理的繁重工作外包给Qdrant Hybrid Cloud,减轻了运维负担。

拜耳如何实现多模态搜索,例如搜索图像、音频和视频?

拜耳采用omnimodal方法,使用视觉模型为科学PDF中的图像生成搜索优化的描述,并注入文本流;音频和视频通过Whisper转录后向量化,与文本一起索引,使用户可以搜索到图像、音频和视频等非文本资产。

拜耳如何利用Qdrant作为AI代理的记忆和语义缓存?

Qdrant存储用户与助手的消息对作为混合向量,支持代理的持久记忆,通过时间加权检索让代理记住之前的交互。同时,代理的web抓取连接器将抓取的块写入Qdrant集合,作为语义缓存,避免重复调用外部API,降低成本。

拜耳如何在不重新计算历史向量的情况下迁移到新的嵌入模型?

拜耳采用双集合策略,新集合与旧集合并行,新上传路由到新集合,查询时同时搜索两个集合并合并去重。随着旧数据因保留策略删除,旧集合自然淘汰,最终关闭,无需重新计算历史向量,实现零停机迁移。

拜耳如何控制AI代理的成本和延迟?

拜耳通过语义缓存将抓取的网页内容存入Qdrant,重复查询时直接使用缓存,减少外部API调用。此外,通过工具发现中间件只向模型展示最相关的12个工具,减少提示词token,降低成本和延迟。

拜耳如何确保AI生成的答案有据可查,满足审计要求?

拜耳在用户界面中为每个检索结果提供内联引用,显示确切的块文本、源文档和知识库链接,用户可点击查看。同时,所有代理会话在Langfuse中记录完整追踪,包括工具选择、检索和生成,支持成本归因和延迟分析,满足GxP审计要求。

拜耳如何实现知识库的租户隔离,避免不同团队数据相互影响?

拜耳使用Qdrant的is_tenant标志在知识库ID上分区查询执行,单个共享集合可服务超过10,000个知识库,每个租户的数据隔离,无交叉污染,且无需为每个租户单独部署基础设施。

🏷️

标签

➡️

继续阅读