Databricks
·
Mosaic AI 向量搜索中混合搜索的正式发布
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
Mosaic AI Vector Search宣布混合搜索的正式推出，将预训练的嵌入模型与关键词搜索相结合。混合搜索通过在向量搜索索引之上添加学习的关键词搜索索引来改善搜索结果。当数据集中存在公开可用的嵌入模型训练数据集中没有的关键词时，建议使用混合搜索。在Mosaic AI Vector Search中，可以轻松实现混合搜索，无需额外设置。它提高了召回率，减少了需要处理的块数，从而降低了延迟和处理成本。混合搜索的实现基于向量搜索和关键词搜索结果的Rank Reciprocal Fusion（RRF）。用户可以按照提供的说明开始使用混合搜索。
🎯
关键要点
- Mosaic AI Vector Search正式推出混合搜索功能，结合了预训练的嵌入模型和关键词搜索的优势。
- 混合搜索通过在向量搜索索引上添加学习的关键词搜索索引来改善搜索结果。
- 当数据集中存在公开可用的嵌入模型训练数据集中没有的关键词时，建议使用混合搜索。
- 用户可以轻松开始使用混合搜索，无需额外设置，所有索引均可访问混合搜索。
- 关键词索引基于语料库中的所有文本字段进行训练，自动访问文本块及所有文本元数据字段。
- 混合搜索能够提高召回率，减少处理的块数，从而降低延迟和处理成本。
- 在内部数据集中，混合搜索的召回率显著提高，达到0.9的召回率所需文档数减少20%。
- 混合搜索的实现基于向量搜索和关键词搜索结果的Rank Reciprocal Fusion（RRF）。
- 用户可以通过简单的查询语句开始使用混合搜索，具体取决于索引的管理方式。
❓
延伸问答
什么是Mosaic AI的混合搜索功能？
混合搜索功能结合了预训练的嵌入模型和关键词搜索的优势，以改善搜索结果。
混合搜索在什么情况下表现更好？
当数据集中存在公开可用的嵌入模型训练数据集中没有的关键字时，混合搜索表现更好。
如何在Mosaic AI中使用混合搜索？
用户只需在相似性搜索查询中添加`query_type='hybrid'`即可开始使用混合搜索，无需额外设置。
混合搜索如何提高召回率？
混合搜索通过减少处理的块数，提高了召回率，从而降低了延迟和处理成本。
混合搜索的实现机制是什么？
混合搜索基于向量搜索和关键词搜索结果的Rank Reciprocal Fusion（RRF）实现。
使用混合搜索能带来哪些质量改进？
使用混合搜索可以显著提高召回率，减少达到0.9召回率所需的文档数量，从而降低处理成本。
➡️
