Elastic平台8.14:ES|QL正式可用,静态加密与向量搜索优化

Elastic平台8.14:ES|QL正式可用,静态加密与向量搜索优化

💡 原文英文,约2900词,阅读约需11分钟。
📝

内容提要

Elastic平台8.14发布,ES|QL查询语言正式可用,支持复杂数据分析。新增AWS KMS客户管理密钥加密、向量搜索优化(默认int8量化)、检索器简化查询。其他功能包括Logstash on ECK、远程集群API密钥安全、AIOps日志分析、数据流生命周期管理及仪表盘链接面板等。

🔎

延伸解读

ES|QL正式可用:查询能力与使用门槛

ES|QL从技术预览转为正式可用,其管道式语法(如FROM、WHERE、STATS、ENRICH等)将过滤、聚合、关联和条件判断整合在单一查询中,简化了复杂数据分析流程。例如,示例查询可同时完成IP过滤、统计、富化及CASE逻辑,而此前这类操作可能需要借助ingest pipeline。对开发者、SRE和安全分析师而言,这意味着更低的查询编写门槛和更高效的数据探索。不过,正式可用不代表功能冻结,未来仍可能引入基于ES|QL的相关性排序能力。

向量搜索优化:性能与易用性的平衡

8.14在向量搜索方面有多项改进:int8量化成为新索引的默认设置,相比float32可显著减小索引体积、提升写入和查询性能,且对排序质量影响甚微;同时,通过SIMD(Neon)指令优化了ARM处理器上的向量比较,使int8向量的段合并速度提升3-6倍。此外,新增的retrievers抽象(标准、kNN、RRF)统一了查询结构,支持嵌套组合,简化了混合搜索(如稠密+稀疏向量)的构建。这些变化降低了向量搜索的使用门槛,但用户需注意默认量化可能对极端精度要求场景有细微影响,可通过增加候选数缓解。

安全与合规:客户管理密钥加密的考量

Elastic Cloud新增对AWS KMS客户管理密钥的支持,用于加密静态数据和快照,满足监管合规需求。相比Elastic托管密钥,客户可自行轮换或撤销密钥,提供更强的控制力,但这也意味着密钥管理责任转移给用户。撤销密钥可作为紧急熔断操作,但需谨慎,因为可能导致数据无法访问。该功能目前仅适用于AWS KMS,其他云厂商的类似支持尚未提及。对于依赖多云或本地部署的用户,需评估此功能的适用性。

Q&A

Elastic 8.14 中 ES|QL 正式可用,它有哪些主要特性?

ES|QL 是 Elastic 的管道查询语言,通过管道符(|)进行逐步数据探索,支持过滤、转换、聚合、统计、CASE 语句和基于 enrich 策略的丰富操作,可在单个查询中完成复杂多步分析。

Elastic Cloud 如何使用 AWS KMS 实现静态加密?

Elastic Cloud 支持集成 AWS KMS,使用客户管理密钥对部署数据和快照进行静态加密。用户可以利用自己的 AWS KMS 密钥进行文件系统级加密,使用 AWS 原生机制加密 S3 中的快照,并支持密钥轮换和撤销操作。

Elasticsearch 8.14 中引入了哪些检索器(retrievers)?它们有什么好处?

8.14 引入了三种检索器:标准检索器(提供标准查询功能)、kNN 检索器(支持 HNSW 密集向量搜索)和 RRF 检索器(使用倒数排名融合算法合并多种向量和稀疏排名结果)。好处是结构统一,易于学习、编写和维护,且可以嵌套组合,提供更灵活的查询构建能力。

Elasticsearch 8.14 对向量搜索做了哪些优化?

优化包括:默认对密集向量字段进行 int8 标量量化,以减小索引大小、提升摄取性能和查询延迟;使用 SIMD(Neon)指令优化 int8 向量的距离计算,使段合并速度提升 3-6 倍;引入检索器简化查询构建。

Logstash on ECK 正式可用,它有哪些特点?

Logstash on ECK 是管理 Logstash 部署的最简单方式,与 Elastic Stack 其他组件无缝集成。用户可以用几行代码在 Kubernetes 上部署和配置 Logstash,现有管道定义可直接使用,支持 Basic 和 Enterprise 许可证。

Elasticsearch 8.14 中远程集群的 API 密钥安全模型有哪些关键特性?

该模型基于跨集群 API 密钥,提供单向信任关系(远程集群不能自动回调),远程管理员默认不受信任,数据持有集群可限制对索引子集的访问。API 密钥可通过 API 或 Kibana 创建,并支持更新。

数据流生命周期设置(Data stream lifecycle)在 8.14 中正式可用,它有什么作用?

数据流生命周期设置允许直接配置数据保留期和下采样,无需使用 ILM。它自动管理滚动和强制合并,可通过 Kibana 或 API 设置,并支持从 ILM 迁移或切换。但仅适用于数据流,不支持数据分层。

Elasticsearch 8.14 中如何启用慢日志记录用户信息?

通过更新索引设置启用,例如:PUT /my-index-000001/_settings 设置 index.indexing.slowlog.include.user 和 index.search.slowlog.include.user 为 true。之后慢日志会输出用户信息,如认证类型、用户名和领域。

🏷️

标签

➡️

继续阅读