纳尼?自建K8s集群日志收集还能通过JMQ保存到JES

💡 原文中文,约7700字,阅读约需19分钟。
📝

内容提要

京东科技在K8s集群私有化交付中优化了日志收集方案。新方案用JMQ和JES替代kafka和es,ilogtail负责收集日志,JMQ传递,logstash转换,JES保存。通过配置调整,实现与内部中间件融合,增强系统高可用性和适应性。

🎯

关键要点

  • 京东科技优化了K8s集群私有化交付中的日志收集方案。

  • 新方案用JMQ和JES替代kafka和es,ilogtail负责收集日志。

  • 数据流向为:应用日志 -> ilogtail -> JMQ -> logstash -> JES。

  • 新方案在京东内网环境中部署,理论上可行。

  • 核心改造点包括ilogtail的nameservers和flushers配置。

  • logstash的配置中使用JMQ的元数据地址。

  • 通过简单改造实现与京东内部中间件的融合。

  • 新方案增强了系统的高可用性和适应性。

延伸问答

京东科技的新日志收集方案使用了哪些技术替代方案?

新方案使用JMQ和JES替代kafka和es。

在新的日志收集方案中,ilogtail的主要功能是什么?

ilogtail负责收集日志。

新方案的数据流向是怎样的?

数据流向为:应用日志 -> ilogtail -> JMQ -> logstash -> JES。

新方案如何增强系统的高可用性和适应性?

通过简单改造实现与京东内部中间件的融合,增强系统的高可用性和适应性。

在新方案中,如何配置ilogtail的nameservers?

需要增加解析JMQ域名的nameserver配置。

新方案在京东内网环境中部署的理论可行性如何?

新方案在京东内网环境中部署,理论上是可行的。

🏷️

标签

➡️

继续阅读