DEV Community
·
实现一个极其简单的Graylog替代方案
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
2022年，我的团队处理来自20多个主机的日志，最初使用Graylog查询，但因维护问题转向Splunk，结果发现Splunk查询速度极慢，影响工作效率。因此，我决定开发一个简单的日志提取器，使用bash等工具直接分析日志文件。
🎯
关键要点
- 2022年，团队处理来自20多个主机的日志，每小时约有200-300万条日志消息。
- 最初使用Graylog进行日志查询，查询速度快，但因维护问题转向Splunk。
- Splunk的查询速度极慢，'Smart'模式下查询需几分钟，'Fast'模式下需30-60秒。
- 团队对Splunk的性能感到失望，担心一旦关闭Graylog将失去快速查询能力。
- 决定开发一个简单的日志提取器，使用bash等工具直接分析日志文件。
- 项目开始于个人黑客马拉松，开发了一个概念验证的日志提取器和查看器。
❓
延伸问答
为什么团队决定从Graylog转向Splunk？
团队转向Splunk是因为Graylog需要较多的维护，但最终发现Splunk的查询速度极慢。
Splunk的查询速度有多慢？
在Splunk的'Smart'模式下，查询需要几分钟，而在'Fast'模式下需要30-60秒。
团队处理的日志量有多少？
团队每小时处理约200-300万条日志消息。
开发简单日志提取器的初衷是什么？
开发简单日志提取器是为了在关闭Graylog后仍能快速查询日志，避免依赖Splunk的慢速查询。
日志提取器是如何实现的？
日志提取器使用bash等工具，直接分析日志文件，并通过简单的终端用户界面进行操作。
项目是如何开始的？
项目开始于个人黑客马拉松，开发了一个概念验证的日志提取器和查看器。
➡️
