安志合的学习博客
·
filebeat写入数据到kafka topic失败问题排查
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
文章讲述了将历史日志文件迁移到大数据集群时遇到的问题，使用filebeat将日志写入kafka时出现无法写入的错误，通过添加kafka版本解决了问题。文章还提供了kafka的Python脚本示例，介绍了filebeat的安装和配置，以及排查问题的方法。
🎯
关键要点
- 大数据组需要将历史日志文件迁移到大数据集群，数据量约600G。
- 使用filebeat采集日志到kafka时遇到无法写入的问题。
- 在测试中，脚本可以正常通过filebeat写入kafka，但在迁移时出现错误。
- 错误信息显示未找到kafka topic，需修改filebeat配置文件。
- 初步认为是filebeat与kafka版本不匹配，尝试将filebeat升级未果。
- 通过在output.kafka中配置kafka版本解决了问题，版本设置为0.10.2.1。
- 提供了kafka的Python脚本示例，包括生产者和消费者的实现。
- 详细介绍了在centos上安装和配置filebeat的步骤。
- 提供了检查filebeat配置和输出连接性的命令。
- 提供了filebeat服务的启停命令及日志排查方法。
🏷️
标签
➡️
