💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
本文介绍了EFK架构（Elasticsearch+Fluentd+Kafka）用于日志数据采集的流程。数据通过cadvisor采集并传输至Kafka，随后由Fluentd处理并存储到Elasticsearch。文中还提供了配置文件示例，展示了各个服务的设置，以实现日志的收集与查询。
🎯
关键要点
- EFK架构由Elasticsearch、Fluentd和Kafka组成，用于日志数据采集。
- 数据通过cadvisor采集并传输至Kafka，流程为Cadvisor -> Kafka -> Fluentd -> Elasticsearch。
- 每个服务都可以横向扩展，方便添加服务到日志系统中。
- 提供了docker-compose.yml和fluent.conf的配置文件示例，展示了各个服务的设置。
- 使用curl命令可以验证Elasticsearch是否生成了预期中的数据。
- 架构可以灵活调整，例如可以使用fluentd -> kafka -> es的方式进行数据收集。
❓
延伸问答
EFK架构的组成部分是什么？
EFK架构由Elasticsearch、Fluentd和Kafka组成。
数据是如何从cadvisor传输到Elasticsearch的？
数据通过cadvisor采集后，传输链路为Cadvisor -> Kafka -> Fluentd -> Elasticsearch。
如何验证Elasticsearch是否生成了预期中的数据？
可以使用curl命令查看Elasticsearch的索引，确认生成的数据数量。
EFK架构的服务是否可以扩展？
是的，每个服务都可以横向扩展，方便添加服务到日志系统中。
提供的配置文件示例中，Fluentd的输入源配置是什么？
Fluentd的输入源配置为Kafka，指定了broker和topic。
EFK架构的灵活性体现在什么方面？
架构可以灵活调整，例如可以使用fluentd -> kafka -> es的方式进行数据收集。
➡️
