Elastic平台8.15:原生向量数据库现已支持位向量、SIMD加速和简化配置

Elastic平台8.15:原生向量数据库现已支持位向量、SIMD加速和简化配置

💡 原文英文,约3200词,阅读约需12分钟。
📝

内容提要

Elastic 8.15版本引入了多项新功能,包括支持位向量和改进的语义搜索。新语义文本字段类型简化了文本处理,提升了搜索性能。ES|QL扩展了地理空间搜索功能,增加了ST_DISTANCE等新函数。LogsDB模式提高了日志存储效率,减少了存储需求。此外,新版本优化了向量比较性能,支持更高效的查询和数据处理。

🔎

延伸解读

位向量与int4量化:性能提升与精度权衡

Elastic 8.15支持位向量索引,使用汉明距离进行相似度计算,可处理高达32768维的向量。同时引入int4标量量化,将向量大小压缩至原来的八分之一,显著降低索引大小并提升查询延迟。但量化会轻微降低召回率,可通过增加候选数量或重排序来补偿。用户需根据精度要求权衡是否采用int4。

semantic_text字段:简化语义搜索配置

新的semantic_text字段类型自动处理文本分块和嵌入生成,用户只需定义推理端点,Elasticsearch即可在索引和查询时生成向量。它支持密集和稀疏向量模型,并兼容Elastic ML节点及第三方提供商如Cohere。这降低了语义搜索的入门门槛,使没有机器学习团队的开发者也能快速构建相关应用。

ES|QL地理空间与类型处理增强

ES|QL新增ST_DISTANCE函数,支持高性能距离搜索,并遵循OGC标准,便于GIS专家使用。同时,ES|QL现在能处理跨索引的字段类型不匹配问题,通过TO_IP等转换函数或::语法统一类型。这些功能目前处于技术预览阶段,部分用例(如按距离排序)尚未优化,但为地理空间分析提供了更强大的工具。

LogsDB模式:日志存储效率大幅提升

LogsDB索引模式通过智能索引排序、合成_source和ZSTD压缩等技术,将日志存储需求降低2-3倍。它默认按host.name和@timestamp排序,优化压缩效率。该模式目前为技术预览,不适用于生产环境,但为未来日志管理提供了显著的存储节省和更强的容错能力。

❓

Q&A

Elastic 8.15版本引入了哪些新功能?

Elastic 8.15版本引入了对位向量的支持、新的语义文本字段类型、扩展的ES|QL地理空间搜索功能、LogsDB模式以及优化的向量比较性能。

什么是新的语义文本字段类型,它有什么优势?

新的语义文本字段类型简化了语义搜索的配置,自动处理文本分块和生成嵌入,从而提升了搜索性能。

Elastic 8.15中如何提高日志存储效率?

Elastic 8.15引入了LogsDB模式,通过智能索引排序、合成源和压缩技术,显著减少了日志存储需求。

Elastic 8.15如何优化向量比较性能?

Elastic 8.15通过支持SIMD加速和int4量化,优化了向量比较性能,提高了查询效率和数据处理能力。

ES|QL在Elastic 8.15中有哪些新功能?

ES|QL在Elastic 8.15中扩展了地理空间搜索功能,新增了ST_DISTANCE等函数,并支持处理不同类型的字段映射。

Elastic 8.15中如何处理位向量?

Elastic 8.15支持索引位向量并使用汉明距离进行相关性排名,允许高效的查询和数据处理。

🏷️

标签

➡️

继续阅读