Elastic 9.5:列式存储、向量数据库索引模式与自动校准,以及AI驱动的告警分类
内容提要
Elastic 9.5正式发布,新增列式存储模式、向量数据库索引模式及自动校准,提升存储与查询效率。安全方面推出AI驱动的攻击发现与告警分类,助力实现“告警清零”。可观测性支持原生Prometheus与PromQL,简化迁移。Agent Builder增强监控与人工审批,Kibana支持AI生成仪表盘,整体提升数据管理、AI代理构建及安全运营能力。
延伸解读
列式存储模式:存储效率与查询性能的权衡
Elastic 9.5 引入的列式存储模式(Columnar Mode)是一种可选索引模式,默认不建倒排索引,每个字段只存储一次,从而显著降低存储占用,并为更快的索引和分析查询奠定基础。但需注意,该模式默认牺牲了全文搜索能力,因此 Elastic 同时提供了 Columnar Logs 这一专门针对日志数据的配置文件,仅在 message 字段保留单个倒排索引,以维持全文搜索速度。用户需根据自身工作负载特性,在存储效率与搜索功能之间做出权衡。
向量数据库索引模式:降低 RAG 应用搭建门槛
针对检索增强生成(RAG)和智能体应用,Elastic 9.5 推出了 VectorDB 索引模式,通过单一设置即可实现高性能向量搜索,无需手动配置量化、合并策略和缓存加载等参数。自动校准功能(Auto-calibration)基于索引中向量的统计分析,自动调整量化深度、预处理和过采样,减少了向量搜索调优所需的专业知识和实验成本。这有助于开发者更快地搭建向量搜索功能,但用户仍需关注自动校准在特定数据集上的实际效果。
原生 Prometheus 支持:迁移成本与性能收益
Elastic 9.5 正式支持原生 Prometheus 远程写入端点和 PromQL,并嵌入 ES|QL,使得现有 Grafana 仪表盘和查询可以最小化迁移成本地指向 Elastic。官方宣称 Elasticsearch 的存储效率比 Prometheus 高 2.5 倍,查询性能快 30 倍,且新编解码器 ES95 进一步降低存储成本。然而,这些性能数据来自官方,实际效果可能因工作负载而异。迁移工具可自动导入 Grafana 和 Datadog 仪表盘,但用户仍需验证迁移后的查询结果和告警逻辑是否一致。
AI 驱动的告警分类:从告警队列到验证威胁
Elastic Security 9.5 的 Attack Discovery 功能旨在帮助安全运营中心(SOC)实现“告警清零”,即通过 AI 模拟分析师行为,对原始事件进行威胁狩猎、实体风险检查和交叉验证,最终输出一份经过验证的攻击列表,而非大量原始告警。该功能还会在发现规则遗漏时自动生成 ES|QL 规则草案,但需分析师批准后才生效。此外,独立的告警分析工作流将告警分类为真实或误报,减少分析师处理低质量告警的时间。这体现了 AI 在安全运营中的辅助作用,但最终决策仍由人类分析师掌控。
Q&A
Elastic 9.5 的列式存储模式是什么?它有什么优势?
列式存储模式是 Elastic 9.5 中引入的一种可选索引模式,默认不创建倒排索引,而是将每个字段存储在列存储中。这样可以显著减小存储占用,并为更快的索引、分析查询和更长的数据保留奠定基础。该模式无需更改 API、仪表板或集成。
Elastic 9.5 的向量数据库索引模式和自动校准如何简化向量搜索?
向量数据库索引模式通过单一设置即可实现高性能向量搜索,无需手动配置,自动应用针对向量优化的默认值,包括量化、合并策略和缓存加载。自动校准功能基于索引中向量的统计分析自动配置量化深度、预处理和过采样,无需专家调优。
Elastic 9.5 中 AI 驱动的告警分类如何帮助实现“告警清零”?
AI 驱动的告警分类通过攻击发现和告警分析工作流,自动将告警分类为真实攻击或误报,减少分析师需要处理的低质量告警。攻击发现会像分析师一样调查原始事件、检查实体风险并进行验证,只呈现经过验证的攻击,从而帮助团队接近“告警清零”的目标。
Elastic 9.5 对 Prometheus 用户有什么支持?
Elastic 9.5 正式支持原生 Prometheus 和 PromQL,用户可以将现有的 Grafana 仪表板和查询指向 Elastic,迁移成本极低。此外,还提供了迁移工具,可自动将 Grafana 和 Datadog 仪表板及告警迁移到 Elastic,并利用 Elasticsearch 的存储效率(比 Prometheus 好 2.5 倍)和查询性能(快 30 倍)。
Elastic 9.5 的 Agent Builder 有哪些增强?
Agent Builder 增强了可观测性和监控(技术预览),可追踪 LLM 调用、工具调用和推理步骤,并支持人工审批和审计跟踪。此外,开发者可以直接在聊天中描述所需功能来创建技能、工具和工作流,无需离开对话,减少了配置时间。
Elastic 9.5 中 Kibana 有哪些 AI 相关的新功能?
Kibana 支持 AI 生成仪表板(dashboards in chat 正式可用),用户可以通过聊天生成仪表板,提高速度。此外,Dashboards & Visualizations API 正式可用,允许以代码方式管理仪表板。Fast Mode UI 允许基于 STATS 的查询在采样数据集上运行,加快查询速度。
Elastic 9.5 的 Elastic Workflows 有哪些新特性?
Elastic Workflows 支持自然语言编写自动化(正式可用),内置版本控制,可比较和回滚。可视化模式以图形显示工作流,并支持人工审批,审批请求可发送到 Slack 等工具。
Elastic 9.5 在可观测性方面有哪些改进?
可观测性改进包括:Kubernetes 监控正式可用,提供预配置仪表板、告警、SLO 和机器学习作业;AWS 集成(技术预览)简化云数据接入;托管集成减少运维负担;APM 依赖分析直接在告警中显示服务地图;LLM 可观测性新增 Anthropic 集成。
Elastic 9.5 在端点保护方面有哪些增强?
端点保护增强包括:自动生成并部署 YARA 规则以应对新披露的易受攻击驱动程序;Windows on ARM 全面支持;新增端点故障排除技能,可标记策略和性能问题。