内容提要
最近参与了搭建ELK项目,ELK指的是elastic search、logstash和kibana。使用docker compose启动ELK框架,配置文件需要设置logstash.conf、logstash.yml、elasticsearch.yml和kibana.yml。使用filebeat监听日志文件,并在kibana页面配置相关信息。附录中介绍了如何减少对远程服务器的侵入,可以使用sshfs挂载远程文件到本地目录。
关键要点
-
参与搭建ELK项目,ELK包括elastic search、logstash和kibana。
-
选择ELK的原因:项目成员有使用经验,ELK是成熟框架。
-
ELK的三部分:数据存储(elastic search)、数据过滤(logstash)、数据展示(kibana)。
-
使用filebeat收集日志,基本流程包括监听文件、发送、过滤转换数据、保存数据、查询和展示。
-
使用docker compose启动ELK框架,需配置多个文件。
-
docker-compose文件中定义了elasticsearch、logstash和kibana的配置。
-
启动ELK框架的命令为docker-compose up -d,可能需要增加docker内存。
-
filebeat的配置文件需要设置监听的日志文件路径。
-
在kibana中配置索引管理,解决单节点警告问题。
-
使用sshfs减少对远程服务器的侵入,可以挂载远程文件到本地目录。
-
mac用户可以通过brew安装fuse和sshfs,但可能存在不兼容问题。
延伸问答
ELK的组成部分是什么?
ELK由Elastic Search(数据存储)、Logstash(数据过滤)和Kibana(数据展示)三部分组成。
为什么选择ELK作为日志管理工具?
选择ELK的原因是项目成员有使用经验,且ELK是一个成熟的框架,能够减少上手成本。
如何使用Docker Compose启动ELK框架?
使用命令'docker-compose up -d'启动ELK框架,可能需要增加Docker内存。
Filebeat的主要功能是什么?
Filebeat用于收集日志,基本流程包括监听文件、发送、过滤转换数据、保存数据、查询和展示。
如何在Kibana中解决单节点警告问题?
在Kibana中,进入索引管理,将所有索引的配置调整为0,以表明是单节点。
如何减少对远程服务器的侵入?
可以使用sshfs将远程文件挂载到本地目录,从而减少对远程服务器的侵入。