重新认识Elasticsearch-一体化矢量搜索引擎
内容提要
生成式人工智能（AI）在2023年成为热门词汇，能够生成原创内容。ChatGPT和DALL-E是成功的生成式AI，分别用于对话和图像生成。Elasticsearch Relevance Engine（ESRE）结合了AI和文本搜索，提供高相关性的搜索结果。Elasticsearch还可用作向量数据库，支持文本和向量检索。
延伸解读
从全文搜索到向量检索的定位转变
文章指出Elasticsearch过去以全文搜索为主，如今通过ESRE和向量数据库能力，将AI最佳实践与文本搜索结合。这不仅是功能叠加，更意味着其定位从传统搜索引擎转向支持混合检索的AI搜索基础设施。读者可关注其如何用统一API整合BM25、KNN和稀疏编码，降低开发复杂度。
生成式AI的局限与Elasticsearch的应对
文章列举了生成式AI的领域知识不足、隐私安全、规模成本、过时和幻觉等局限。Elasticsearch通过存储和检索上下文数据、支持自带模型、内置稀疏编码模型等方式，为LLM提供外部知识，缓解幻觉和过时问题。这提示读者，向量数据库在AI应用中不仅是存储，更是提升回答准确性的关键环节。
三种LLM集成方式的适用场景
文章介绍了Elasticsearch与LLM结合的三种方式：作为向量存储与LLM集成、通过ESRE与LLM集成、使用内置稀疏编码模型。第一种适合需要自定义嵌入和检索流程的场景；第二种利用RRF混合检索提升相关性并降低成本；第三种开箱即用，适合快速实现语义搜索。读者可根据团队技术储备和需求选择。
向量检索的实操要点与版本注意
文章通过创建dense_vector字段、批量插入向量数据、使用KNN API检索的示例，展示了Elasticsearch作为向量数据库的基本用法。同时指出8.11版本仍使用KNN检索，并提到支持AI查询的客户端包括JavaScript、Python、Go、PHP、Ruby，但不含Java。开发者在选型时需留意版本差异和客户端支持情况。
Q&A
Elasticsearch Relevance Engine (ESRE) 是什么？它有什么作用？
ESRE 是 Elasticsearch 提供的一套用于创建高度相关 AI 搜索应用程序的功能集合。它将 AI 最佳实践与 Elastic 的文本搜索相结合，提供成熟的检索算法，并支持与大型语言模型 (LLM) 集成，帮助开发人员提升搜索相关性。
生成式AI模型有哪些常见的局限性？
生成式AI模型的局限性包括：领域知识不足可能导致不准确或“幻觉”；隐私和安全问题，尤其是在处理敏感数据时；规模和成本可能让企业望而却步；模型过时，因为训练数据冻结在过去；以及幻觉，即模型可能编造看似可信但不符合事实的信息。
Elasticsearch 如何与 LLM 结合使用？
Elasticsearch 与 LLM 结合有三种方式：1) 将 Elasticsearch 作为向量存储，存储和检索嵌入向量，并将搜索结果传递给 LLM 生成回答；2) 使用 Elasticsearch Relevance Engine (ESRE) 与 LLM 集成，通过搜索 API 摄取和查询 LLM 模型；3) 使用内置的 Elastic Learned Sparse Encoder 模型进行语义搜索，无需训练或维护模型。
Elasticsearch 作为向量数据库有哪些优势？
Elasticsearch 作为向量数据库的优势包括：高效的混合检索，能同时进行文本检索和向量检索；海量数据存储能力，可管理大量文本和向量数据；高性能查询，满足实时检索需求。
在 Elasticsearch 中如何进行向量检索？
在 Elasticsearch 中进行向量检索的步骤：首先将数据转换为向量（如128维float数组），索引到dense_vector类型的字段中；然后使用KNN或ANN进行检索。例如，创建包含dense_vector字段的索引，插入向量数据，最后通过KNN搜索API指定查询向量和候选数量进行检索。
Elasticsearch 的无服务器架构是什么？
Elasticsearch 的无服务器架构是2024年提出的理念，将存储和计算完全分离。它利用云原生服务，提供优化的产品体验，具备数据湖的存储能力和快速搜索性能，同时通过自动化的集群管理和扩展实现操作简便性。
