内容提要
Elastic 8.15版本引入了多项新功能,包括支持位向量和改进的语义搜索。新语义文本字段类型简化了文本处理,提升了搜索性能。ES|QL扩展了地理空间搜索功能,增加了ST_DISTANCE等新函数。LogsDB模式提高了日志存储效率,减少了存储需求。此外,新版本优化了向量比较性能,支持更高效的查询和数据处理。
延伸解读
位向量与int4量化:性能提升与精度权衡
Elastic 8.15支持位向量索引,使用汉明距离进行相似度计算,可处理高达32768维的向量。同时引入int4标量量化,将向量大小压缩至原来的八分之一,显著降低索引大小并提升查询延迟。但量化会轻微降低召回率,可通过增加候选数量或重排序来补偿。用户需根据精度要求权衡是否采用int4。
semantic_text字段:简化语义搜索配置
新的semantic_text字段类型自动处理文本分块和嵌入生成,用户只需定义推理端点,Elasticsearch即可在索引和查询时生成向量。它支持密集和稀疏向量模型,并兼容Elastic ML节点及第三方提供商如Cohere。这降低了语义搜索的入门门槛,使没有机器学习团队的开发者也能快速构建相关应用。
ES|QL地理空间与类型处理增强
ES|QL新增ST_DISTANCE函数,支持高性能距离搜索,并遵循OGC标准,便于GIS专家使用。同时,ES|QL现在能处理跨索引的字段类型不匹配问题,通过TO_IP等转换函数或::语法统一类型。这些功能目前处于技术预览阶段,部分用例(如按距离排序)尚未优化,但为地理空间分析提供了更强大的工具。
LogsDB模式:日志存储效率大幅提升
LogsDB索引模式通过智能索引排序、合成_source和ZSTD压缩等技术,将日志存储需求降低2-3倍。它默认按host.name和@timestamp排序,优化压缩效率。该模式目前为技术预览,不适用于生产环境,但为未来日志管理提供了显著的存储节省和更强的容错能力。
Q&A
Elastic 8.15版本引入了哪些新功能?
Elastic 8.15版本引入了对位向量的支持、新的语义文本字段类型、扩展的ES|QL地理空间搜索功能、LogsDB模式以及优化的向量比较性能。
什么是新的语义文本字段类型,它有什么优势?
新的语义文本字段类型简化了语义搜索的配置,自动处理文本分块和生成嵌入,从而提升了搜索性能。
Elastic 8.15中如何提高日志存储效率?
Elastic 8.15引入了LogsDB模式,通过智能索引排序、合成源和压缩技术,显著减少了日志存储需求。
Elastic 8.15如何优化向量比较性能?
Elastic 8.15通过支持SIMD加速和int4量化,优化了向量比较性能,提高了查询效率和数据处理能力。
ES|QL在Elastic 8.15中有哪些新功能?
ES|QL在Elastic 8.15中扩展了地理空间搜索功能,新增了ST_DISTANCE等函数,并支持处理不同类型的字段映射。
Elastic 8.15中如何处理位向量?
Elastic 8.15支持索引位向量并使用汉明距离进行相关性排名,允许高效的查询和数据处理。