Elastic 9.5:列式存储、VectorDB 索引模式和自动校准,以及 AI 驱动的警报分类

💡 原文中文,约7000字,阅读约需17分钟。
📝

内容提要

Elastic 9.5正式发布,推出列式存储模式、VectorDB索引模式与自动校准,提升存储效率与向量搜索性能。新增Agent Builder增强、AI原生Kibana、原生Prometheus支持及安全功能Alert Zero,强化可观测性与安全运营,助力开发者构建AI智能体并简化数据管理。

🔎

延伸解读

列式存储与向量搜索的取舍

Elastic 9.5 推出的列式存储模式(Columnar Mode)和 VectorDB 索引模式,分别针对日志存储和向量搜索进行了优化。列式模式通过去除倒排索引大幅降低存储占用,但可能牺牲部分全文搜索性能;而 VectorDB 模式则通过自动调优量化、合并策略等,简化了向量搜索的部署。用户需根据工作负载特性选择合适模式,例如日志场景可选用列式日志配置,而 RAG 应用则更适合 VectorDB 模式。

Prometheus 迁移的实用价值

原生 Prometheus 远程写入和 PromQL 支持,使现有 Prometheus 用户能以最小迁移成本将工作负载迁移至 Elasticsearch。官方声称存储效率最高提升 2.5 倍,查询性能最高快 30 倍,并提供了迁移工具自动导入 Grafana 和 Datadog 仪表板。这为正在评估可观测性平台整合的团队提供了实际参考,但迁移前仍需验证兼容性和性能表现。

Alert Zero 的定位与局限

Alert Zero 并非追求零警报,而是通过 Attack Discovery 和独立警报分析工作流,将原始警报精简为经过验证的攻击列表。它强调人机协同,分析师负责最终决策,自动化处理机械性工作。该功能旨在减少警报疲劳,但实际效果取决于检测规则的准确性和工作流的配置,且不能完全替代分析师的专业判断。

Q&A

Elastic 9.5 的 Columnar Mode 是什么?它有什么好处?

Columnar Mode 是 Elastic 9.5 中引入的一种可选索引模式,默认情况下在列存储中每个字段只存储一次且不包含倒排索引,从而显著减少存储占用,并支持更快的索引和分析查询,以及更长的数据保留期。它无需更改 API、仪表板或集成即可使用。

Elastic 9.5 的 VectorDB 索引模式和自动校准如何简化向量搜索?

VectorDB 索引模式通过一项设置提供高性能向量搜索,自动应用针对向量优化的默认设置,如量化、合并策略和缓存加载,无需手动配置。自动校准则根据索引中向量的统计分析自动配置量化深度、先决条件和过采样,省去了以往需要专业知识和实验的调优工作。

Elastic 9.5 中 Alert Zero 是什么?它如何帮助安全运营?

Alert Zero 是 Elastic Security 9.5 中的一项功能,旨在通过智能体与分析师的协同工作,将警报队列精简至真正重要的事项。它利用 Attack Discovery 像分析师一样调查原始事件,进行威胁搜寻和实体风险评估,并交叉验证,最终呈现经过验证的简短攻击列表,减少分析师处理的警报数量。

Elastic 9.5 对 Prometheus 用户有什么支持?

Elastic 9.5 正式发布了原生 Prometheus 远程写入端点和 PromQL 支持,直接内置于 ES|QL 中,使团队可以轻松将现有 Grafana 仪表板和查询指向 Elastic,无需放弃原有查询语言。同时提供了迁移工具,可自动将 Grafana 和 Datadog 仪表板与警报引入 Elastic,并享受 Elasticsearch 的存储效率和查询性能优势。

Elastic 9.5 中 Agent Builder 有哪些增强功能?

Agent Builder 在 9.5 中新增了 Agent Observability and Monitoring(技术预览版),可将 LLM 调用、工具调用和推理步骤作为 OpenTelemetry 追踪到 Elasticsearch;还引入了人工干预审批,可对敏感操作进行把关并记录审计追踪。此外,开发者可以通过对话直接创建技能、查询和工作流,无需离开对话。

Elastic 9.5 中 Kibana 有哪些新功能?

Elastic 9.5 中,仪表板与可视化 API 正式发布,支持通过代码创建和管理仪表板;聊天中的仪表板正式发布,支持控件创建并提升速度;快速模式 UI 允许基于 STATS 的查询在抽样数据集上运行,加快查询速度。

Elastic 9.5 如何改进 Kubernetes 和 AWS 的可观测性?

Elastic 9.5 推出了针对 Kubernetes 和 AWS 的开箱即用集成(AWS 为技术预览版),Kubernetes 监测正式发布,并预配置了仪表板、警报、SLO 和机器学习作业。同时简化了设置流程,默认采用推荐的 OTel 路径,使团队可以快速上手。

Elastic 9.5 中 Elastic 工作流有哪些新特性?

Elastic 9.5 中,Elastic 工作流支持自然语言编写(正式发布并默认启用),可自动生成自动化内容;内置版本控制,可跟踪变更并回滚;可视化模式以图表形式显示工作流;人工干预可扩展到 Kibana 之外,例如通过 Slack 请求审批。

🏷️

标签

➡️

继续阅读