京东App秒级百G日志传输存储架构设计与实战

一、背景在日常工作中，我们通常需要存储一些日志，譬如用户请求的出入参、系统运行时打印的一些 info、error 之类的日志，从而对系统在运行时出现的问题有排查的依据。日志存储和检索是个很常见且简单的工作，市面也有很多关于日志搜集、存储、检索的框架可供使用。譬如我们只有个位数机器时，可以通过登录服务器，查看 log4j 之类的框架打印到本地文件的日志。当日志多起来后，可以用 elk 三剑客处理日志...

本文介绍了一种高效的大规模日志搜集系统设计方案，通过UDP直接发送到worker端，再批量写入ClickHouse数据库，节约存储成本和中间过程CPU服务器。ClickHouse作为高性能的OLAP数据库管理系统，能够极其高效地处理原始秒级百G的日志。