ByteByteGo Newsletter
·
Nubank如何构建内部日志平台以处理1万亿条日志
💡
原文英文，约2100词，阅读约需8分钟。
📝
内容提要
Nubank因快速增长面临日志管理挑战，决定构建内部日志平台以降低成本并提高控制力。新平台分为日志采集和查询存储两个阶段，采用Fluent Bit、Trino和AWS S3等技术，成功处理每日1万亿条日志，显著提升系统可扩展性和效率。
🎯
关键要点
- Nubank因快速增长面临日志管理挑战，决定构建内部日志平台以降低成本并提高控制力。
- 新平台分为日志采集和查询存储两个阶段，采用Fluent Bit、Trino和AWS S3等技术。
- Nubank的旧日志架构依赖第三方供应商，缺乏控制和可见性，导致成本上升和故障排查困难。
- 新平台的第一阶段是可观察性流，专注于日志的采集和处理，确保高效和可靠。
- 第二阶段是查询和存储平台，支持快速查询和低成本存储，满足日常调试和监控需求。
- Nubank的新日志平台每天处理1万亿条日志，保持45天的可搜索数据保留期。
- 新平台的成本比之前的供应商解决方案低50%，显著提高了系统的可扩展性和效率。
- 通过解耦采集和查询，Nubank能够独立扩展系统的各个部分，提升了整体性能和控制力。
❓
延伸问答
Nubank为什么决定构建自己的日志平台？
Nubank决定构建自己的日志平台是因为快速增长导致旧有日志管理系统成本上升、控制力不足和故障排查困难。
Nubank的新日志平台是如何分阶段构建的？
Nubank的新日志平台分为两个阶段：第一阶段是可观察性流，专注于日志的采集和处理；第二阶段是查询和存储平台，支持快速查询和低成本存储。
Nubank在日志采集阶段使用了哪些技术？
在日志采集阶段，Nubank使用了Fluent Bit作为日志转发器，并结合了自建的数据缓冲服务和过滤处理服务。
Nubank的新日志平台如何提高了系统的可扩展性和效率？
通过解耦日志采集和查询，Nubank的新平台能够独立扩展各个部分，从而提升了整体性能和控制力。
Nubank的新日志平台每天处理多少条日志？
Nubank的新日志平台每天处理1万亿条日志。
Nubank的新日志平台与旧平台相比，成本降低了多少？
Nubank的新日志平台的成本比之前的供应商解决方案低50%。
➡️
