纳尼?自建K8s集群日志收集还能通过JMQ保存到JES
原文中文,约7700字,阅读约需19分钟。
📝
内容提要
京东科技在K8s集群私有化交付中优化了日志收集方案。新方案用JMQ和JES替代kafka和es,ilogtail负责收集日志,JMQ传递,logstash转换,JES保存。通过配置调整,实现与内部中间件融合,增强系统高可用性和适应性。
🎯
关键要点
-
京东科技优化了K8s集群私有化交付中的日志收集方案。
-
新方案用JMQ和JES替代kafka和es,ilogtail负责收集日志。
-
数据流向为:应用日志 -> ilogtail -> JMQ -> logstash -> JES。
-
新方案在京东内网环境中部署,理论上可行。
-
核心改造点包括ilogtail的nameservers和flushers配置。
-
logstash的配置中使用JMQ的元数据地址。
-
通过简单改造实现与京东内部中间件的融合。
-
新方案增强了系统的高可用性和适应性。
❓
延伸问答
京东科技的新日志收集方案使用了哪些技术替代方案?
新方案使用JMQ和JES替代kafka和es。
在新的日志收集方案中,ilogtail的主要功能是什么?
ilogtail负责收集日志。
新方案的数据流向是怎样的?
数据流向为:应用日志 -> ilogtail -> JMQ -> logstash -> JES。
新方案如何增强系统的高可用性和适应性?
通过简单改造实现与京东内部中间件的融合,增强系统的高可用性和适应性。
在新方案中,如何配置ilogtail的nameservers?
需要增加解析JMQ域名的nameserver配置。
新方案在京东内网环境中部署的理论可行性如何?
新方案在京东内网环境中部署,理论上是可行的。
🏷️