EFK日志体系快速入门
内容提要
本文介绍用Docker Compose搭建EFK日志系统：Filebeat采集Nginx访问与错误日志，经Elasticsearch的pipeline用grok解析字段后存入索引，再由Kibana创建数据视图查询展示。文中给出各组件配置、启动步骤及索引、搜索等常用API操作，并提醒生产环境需优化集群部署与安全认证。
延伸解读
Filebeat 采集的优势与输出选择
文章选择 Filebeat 而非 Logstash 或 Fluentd，是因为它用 Golang 编写，足够轻量，占用资源少，适合在每个节点上作为守护进程部署。Filebeat 除了直接输出到 Elasticsearch，还支持 Kafka 和 Logstash 等 output 插件。通过 Kafka 可以做到流量削峰，应对瞬时大流量；通过 Logstash 可以利用其丰富的日志解析处理能力。这些中间件组合能形成更灵活的处理链路，但日志的最终归宿一般还是 Elasticsearch。
Elasticsearch pipeline 的解析作用
Elasticsearch 的 pipeline 可以对消息执行解析、拆分、转化、增删等操作。文中使用 grok 处理器从 Nginx access log 的字符串字段中提取并结构化字段，为各字段指定名字和类型，再通过 date 处理器将 timestamp 转换为 @timestamp，并移除多余字段。这样日志在存入索引前就被解析成结构化数据，便于后续在 Kibana 中按字段查询和分析。
单节点部署的状态与生产注意事项
文章使用单节点 Elasticsearch，启动后集群健康状态显示为 yellow，这是因为单节点导致副本无法分配，但不影响后续操作。文中明确提醒，该配置简化了部署，关闭了 Elasticsearch 的认证等功能，在生产环境中需要启用这些安全选项，并在集群部署和安全认证方面做更多优化。因此，该示例适合快速入门，不能直接用于生产。
Kibana 数据视图与查询操作
在 Kibana 中，需要先创建 Data View 来访问 Elasticsearch 中的索引。文中演示了为 nginx_error_log 创建数据视图，然后在 Discover 中查询日志，例如搜索 status_code: 404 或 "no such file"。这展示了从采集、解析、存储到可视化查询的完整流程，帮助读者理解 EFK 各组件如何协作，并快速上手日志检索。
Q&A
EFK日志系统分别由哪些组件构成，各自的作用是什么？
EFK由Elasticsearch、Filebeat、Kibana组成。Filebeat负责采集日志文件并发送到Elasticsearch；Elasticsearch负责处理和存储数据，并提供全文搜索能力；Kibana是UI界面，用于查询和展示Elasticsearch中的数据。
为什么选择Filebeat而不是Logstash或Fluentd来采集日志？
Filebeat用Golang编写，足够轻量，占用资源少，适合在每个节点上作为守护进程部署。Logstash和Fluentd也具备相同采集能力，但Filebeat更轻量。
如何用Elasticsearch的pipeline解析Nginx访问日志？
创建一个pipeline，使用grok处理器从message字段中按竖线分割的模式提取timestamp、domain、client_ip、method、request、status_code等字段并指定类型，再用date处理器将timestamp转为@timestamp，最后用remove处理器删除多余字段。通过PUT请求将pipeline创建到Elasticsearch中。
Filebeat如何将Nginx的access log和error log分别输出到不同的Elasticsearch索引？
在filebeat.yml中定义两个filestream类型的input，分别读取access.log和error.log，并设置fields.log_type区分。在output.elasticsearch的indices中，根据log_type条件将access log写入nginx_access_log-%{+yyyy_MM_dd}索引，error log写入nginx_error_log-%{+yyyy_MM_dd}索引。
在Kibana中如何创建数据视图并查询Nginx日志？
在Kibana的Management > Data Views中点击Create data view，输入索引模式（如nginx_error_log）并保存。然后在Analytics > Discover中选择该数据视图，即可使用查询语句（如status_code: 404或"no such file"）搜索日志。
生产环境部署EFK时需要注意哪些优化点？
生产环境需要优化Elasticsearch的集群部署，并启用安全认证。本文简化了配置，关闭了Elasticsearch的认证等功能，仅适用于入门演示。
