本文介绍了京东内网环境中基于K8s的日志收集方案,采用ilogtail、JMQ和JES替代kafka和es,通过配置调整实现高可用性,提升日志处理效率。
iLogtail 2.0是一款数据收集工具,提供升级的管道配置、灵活的插件组合、SPL处理模式和改进的日志解析控制。它还提供了新的API接口和控制台界面。新版本支持更好的可观察性、更快、更安全的性能,并与之前的版本兼容。文章详细介绍了新功能和兼容性变化。
设计模式是软件开发中的重要经验总结,Gang of Four (GoF) 提出的经典设计模式则被誉为设计模式中的“圣经”。本文将结合 iLogtail 项目,从实践角度探讨一些常见设计模式的技术原理。
本文介绍了两个相关的开源工具:ilogtail和cloki。ilogtail是阿里开源的一款轻量级的日志采集工具,适用于k8s环境,资源消耗低,采集效率高。cloki是国外开源的一个类似于loki的工具,可以与clickhouse关联作为存储。部署时可以使用相应的yaml文件。
iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据,广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。
iLogtail 作为阿里云 SLS 官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据。
MySQL Binlog记录了MySQL的变更日志,业界也有一些方案来同步Binlog的数据。不同的工具可以实现不同的目标,iLogtail也提供了便捷的Binlog同步功能,iLogtail采集到Binlog后,可以将结果输出到各类flusher。
完成下面两步后,将自动完成登录并继续当前操作。