ByteByteGo Newsletter
·
Nubank如何构建内部日志平台以处理1万亿条日志
内容提要
Nubank因快速增长面临日志管理挑战，决定构建内部日志平台以降低成本并提高控制力。新平台分为日志采集和查询存储两个阶段，采用Fluent Bit、Trino和AWS S3等技术，成功处理每日1万亿条日志，显著提升系统可扩展性和效率。
关键要点
-
Nubank因快速增长面临日志管理挑战，决定构建内部日志平台以降低成本并提高控制力。
-
新平台分为日志采集和查询存储两个阶段，采用Fluent Bit、Trino和AWS S3等技术。
-
Nubank的旧日志架构依赖第三方供应商，缺乏控制和可见性，导致成本上升和故障排查困难。
-
新平台的第一阶段是可观察性流，专注于日志的采集和处理，确保高效和可靠。
-
第二阶段是查询和存储平台，支持快速查询和低成本存储，满足日常调试和监控需求。
-
Nubank的新日志平台每天处理1万亿条日志，保持45天的可搜索数据保留期。
-
新平台的成本比之前的供应商解决方案低50%，显著提高了系统的可扩展性和效率。
-
通过解耦采集和查询，Nubank能够独立扩展系统的各个部分，提升了整体性能和控制力。
延伸解读
日志管理的重要性
日志管理在技术架构中扮演着关键角色，尤其是在快速增长的公司中。Nubank的案例表明，良好的日志管理不仅有助于监控系统和快速故障排查，还能显著降低运营成本。随着公司规模的扩大，日志的数量和复杂性也随之增加，缺乏控制和可见性可能导致严重后果。
分阶段构建的优势
Nubank选择将日志平台的构建分为两个阶段，这种策略有效降低了风险并提高了灵活性。通过先建立日志采集和处理的基础设施，再开发查询和存储功能，团队能够在每个阶段进行测试和优化，确保系统的稳定性和可扩展性。这种方法值得其他企业借鉴，尤其是在面对复杂技术挑战时。
技术选择的影响
Nubank在构建新日志平台时，选择了Fluent Bit、Trino和AWS S3等技术，这些选择直接影响了系统的性能和成本效益。Fluent Bit的轻量级和高效性使得日志采集更加顺畅，而Trino的分布式查询能力则提升了数据检索的速度。这样的技术组合为Nubank提供了更高的控制力和灵活性，适应未来的增长需求。
延伸问答
Nubank为什么决定构建自己的日志平台？
Nubank决定构建自己的日志平台是因为快速增长导致旧有日志管理系统成本上升、控制力不足和故障排查困难。
Nubank的新日志平台是如何分阶段构建的？
Nubank的新日志平台分为两个阶段：第一阶段是可观察性流，专注于日志的采集和处理；第二阶段是查询和存储平台，支持快速查询和低成本存储。
Nubank在日志采集阶段使用了哪些技术？
在日志采集阶段，Nubank使用了Fluent Bit作为日志转发器，并结合了自建的数据缓冲服务和过滤处理服务。
Nubank的新日志平台如何提高了系统的可扩展性和效率？
通过解耦日志采集和查询，Nubank的新平台能够独立扩展各个部分，从而提升了整体性能和控制力。
Nubank的新日志平台每天处理多少条日志？
Nubank的新日志平台每天处理1万亿条日志。
Nubank的新日志平台与旧平台相比，成本降低了多少？
Nubank的新日志平台的成本比之前的供应商解决方案低50%。
