Rakbank 如何借助 Amazon OpenSearch Service 大规模构建集中式可观测性

Rakbank 如何借助 Amazon OpenSearch Service 大规模构建集中式可观测性

💡 原文英文,约2100词,阅读约需8分钟。
📝

内容提要

Rakbank 在亚马逊云科技上为零售数字银行平台构建集中式可观测性架构:平台每天产生约150GB日志,由 Fluent Bit 采集,经 Transit Gateway 跨账户私密传输至多可用区 OpenSearch Service,并并行归档至 S3。采用热/温/冷分层存储,热层保留15天、温层15–30天、冷层30–60天,S3归档满足7年合规要求,相比全热集群节省约55%成本。架构支持25个仪表盘和约25名并发用户,并正在评估AI辅助查询等新功能。

🔎

延伸解读

分层存储的成本逻辑

文章显示,Rakbank 将日志按年龄分层:热层保留15天,温层15–30天,冷层30–60天,S3归档保留7年。由于日志只追加不更新,滚动后的索引可安全强制合并后迁移,避免更新开销。这种设计让大部分很少查询的旧数据离开热节点,相比全热集群节省约55%成本,同时保持近期数据可实时搜索。

跨账户与私有网络的安全边界

架构将应用账户与可观测性账户分离,日志通过 Transit Gateway 私密传输,不经过公网。访问控制结合 VPC 隔离、基于资源的策略和细粒度访问控制,用户通过 SAML 2.0 单点登录对接企业 Active Directory。写入路径与读取路径使用不同的最小权限角色,这种分层授权降低了跨账户日志管道的暴露面。

Multi-AZ 与 Standby 的容量取舍

文章对比了两种部署选项:Multi-AZ 提供99.9% SLA,所有数据节点参与搜索;Multi-AZ with Standby 提供99.99% SLA,但三个数据节点中只有一个作为备用,活跃搜索容量减少33%,且要求每个索引至少两个副本,增加存储。Rakbank 生产环境未启用 Standby,而是依靠三可用区数据节点和副本分片实现冗余。是否采用需根据 SLA 要求权衡。

从日志到可观测性的扩展方向

当前平台每天处理约150GB日志,支持25个仪表盘和约25名并发用户。Rakbank 正在评估 AI 辅助查询、MCP 代理调查、直接查询 S3 数据以及日志、追踪、指标关联等能力。这些功能可在现有分层存储之上叠加,但文章未给出上线时间或效果数据,读者应将其视为规划方向而非已落地成果。

❓

Q&A

Rakbank 的集中式可观测性架构每天要处理多少日志量,保留多久?

平台平均每天产生约150GB日志,在OpenSearch Service中保留60天(约9TB),其中最近30天可直接搜索;同时所有日志归档到S3以满足7年合规要求,每年约54TB,7年约383TB。

Rakbank 如何把日志从应用账户安全地传输到可观测性账户?

应用账户中EKS集群上的Fluent Bit DaemonSet采集容器日志,通过AWS Transit Gateway跨账户私密传输到可观测性账户的OpenSearch Service域,全程不经过公网;同时并行将原始日志直接归档到S3。

OpenSearch Service 的热、温、冷分层存储各自保留多久、如何访问?

热层基于EBS,保留0–15天,用于实时仪表盘和告警;温层(UltraWarm)基于S3加本地缓存,保留15–30天,只读但可搜索;冷层为纯S3无计算节点,保留30–60天,查询时需按需挂回UltraWarm。

相比全热集群,Rakbank 采用热+温+冷分层能节省多少成本,原因是什么?

约节省55%成本。因为60天窗口内大部分数据在头几周后很少被查询,将旧索引下沉到S3支持的温/冷层,就不必把全部工作集保留在热节点上,从而降低热层计算成本。

Rakbank 的生产域为什么没有启用 Multi-AZ with Standby?

因为Standby虽然提供99.99% SLA,但三个数据节点中只有一个作为备用,活跃搜索容量减少33%,且每个索引至少需要两个副本、增加存储,并仅支持特定实例族。Rakbank的99.99% SLA并非硬性要求,因此选择不带Standby的Multi-AZ部署,三个可用区数据节点全部服务搜索,并用副本分片保障冗余。

Rakbank 正在评估哪些AI辅助的可观测性功能?

包括:基于Amazon Bedrock的AI Assistant,支持自然语言生成查询;MCP Server加Agent investigator,由DevOps代理自主执行PPL查询做根因分析,并用Memory Store保持上下文;Direct Query直接查询S3数据而无需摄入;以及随链路追踪接入的Trace Correlation,统一日志、追踪和指标视图。

Rakbank 从这次可观测性建设中总结了哪些工程经验?

主要经验有:从第一天就设计热/温/冷分层,事后给150GB/天的集群补分层会困难得多;按峰值而非当前量规划热层和分片数;显式评估Standby取舍(99.99% SLA会牺牲33%活跃搜索容量且需每索引两个副本);利用日志只追加的特性,在迁移温层前做force-merge,避免更新开销。

🏷️

标签

➡️

继续阅读