Elastic Stack 8.11：引入强大的新查询语言 ES|QL
内容提要
Elastic Stack 8.11发布，引入新查询语言ES|QL，简化数据探索，支持聚合、可视化及告警。新增数据流生命周期管理（技术预览）、跨集群搜索响应详情、reroute处理器GA、ELSER模型升级、向量搜索增强（多向量、4096维、MIPS、稀疏向量）及Kibana改进（Lens内联编辑、链接面板、颜色映射）。
延伸解读
ES|QL 的定位与适用场景
ES|QL 作为 Elastic 新引入的管道式查询语言，旨在简化数据探索流程，尤其适合需要快速聚合、转换和富化数据的场景。它支持在 Discover 中直接进行可视化，并可用于告警规则，帮助用户从趋势而非孤立事件中获取洞察。对于熟悉 Elasticsearch 查询的用户，ES|QL 提供了更直观的语法，降低了学习门槛，但需注意其与现有 Query DSL 的差异，以及在不同场景下的适用性。
数据流生命周期管理的简化与限制
数据流生命周期管理（技术预览）旨在简化数据保留和降采样配置，通过声明式执行自动处理滚动和合并，减少 ILM 策略的复杂性。然而，它目前不支持数据跨层迁移（如冷热层），因此需要分层存储的场景仍应使用 ILM。该功能适合希望减少运维负担、仅需基本保留策略的用户，但生产环境使用前需评估其成熟度。
向量搜索增强的实际意义
8.11 对向量搜索的增强包括支持多向量字段、4096 维向量、MIPS 相似度以及稀疏向量类型，这些改进直接服务于 RAG 和生成式 AI 应用。多向量支持使得按段落或图像进行文档级检索成为可能，而 MIPS 则满足特定模型的需求。稀疏向量类型与 ELSER 模型配合，简化了文本扩展搜索。这些功能为构建更精准的语义搜索提供了基础，但用户需根据模型和场景选择合适的向量化策略。
跨集群搜索的可观测性提升
8.11 增强了跨集群搜索（CCS）的响应详情，在 Kibana Inspector 中新增了集群和分片级别的状态、耗时及失败信息，并在 API 响应中区分了 partial、failed、running 等状态。这有助于用户快速定位远程集群问题，评估搜索结果的完整性。对于依赖多集群架构的运维团队，这一改进能显著提升排障效率，但需注意新字段可能对现有监控脚本产生影响。
Q&A
ES|QL是什么？它有哪些主要功能？
ES|QL是Elastic Stack 8.11引入的一种新的管道式查询语言，用于数据探索和调查。它支持聚合、数据转换、数据丰富、可视化，并可直接在Discover中使用，还支持告警和仪表板集成。
如何在Kibana的Discover中使用ES|QL？
在Discover中，从数据视图选择器中选择“Try ES|QL”即可开始使用。它提供自动补全和应用内文档，支持在查询栏中构建查询，结果以表格或可视化形式呈现。
ES|QL如何用于告警？
ES|QL可用于创建告警规则，通过设置聚合值作为阈值，可以增强检测准确性并减少误报。新的ES|QL规则类型允许用户基于ES|QL查询生成单个告警，并在保存前预览查询结果。
数据流生命周期管理是什么？它和ILM有什么区别？
数据流生命周期管理是8.11引入的技术预览功能，提供简化的数据流保留和降采样配置，自动处理滚动和合并。与ILM相比，它采用声明式执行，无需手动干预，但当前不支持数据跨层移动。
如何配置数据流的保留期？
可以在Kibana的Index Management页面中设置，或通过API调用：PUT _data_stream/my-data-stream/_lifecycle，并指定data_retention字段，例如"90d"表示保留90天。
ELSER模型2有哪些改进？
ELSER模型2在8.11中正式可用，提供优化版和跨平台版，相比原版在BEIR基准上相关性更好，优化版还显著降低了推理延迟。
跨集群搜索响应中新增了哪些状态信息？
8.11在搜索响应中新增了partial、failed和running状态计数，与原有的successful和skipped区分开，帮助用户更准确地了解搜索的完整性和问题。
reroute处理器是什么？它有什么用途？
reroute处理器在8.8引入，8.11正式可用，用于基于文档内容将文档路由到不同的索引或管道，适用于混合文档流的场景，如Firehose或Docker日志。
向量搜索在8.11中有哪些增强？
支持一个字段多个向量并按最相似向量排序，维度上限提升至4096，新增最大内积相似度，新增稀疏向量数据类型，Exists查询支持稀疏向量，密集向量字段默认索引。
Kibana在8.11中有哪些新功能？
Kibana新增了Lens内联编辑、链接面板、颜色映射等功能，提升了仪表板编辑和导航的便利性，增强了数据可视化效果。
