ELK企业级日志分析平台2—— Filebeat 轻量采集 Kibana 可视化监控

1 filebeat 日志采集Filebeat 由两个核心组件构成Prospector勘探器监控配置的日志文件 / 目录检测文件新增、滚动、删除记录文件读取偏移量存于 registry 注册文件实现断点续传重启不重复读日志。Harvester收割机逐行读取单个日志文件内容支持多行合并、简单过滤将日志打包发送至输出端Logstash/Elasticsearch。日志采集完整工作流程勘探监控Prospector 持续监听配置的日志文件 / 目录识别新增、滚动、删除的日志文件。读取日志Harvester 打开日志文件逐行读取可按规则合并堆栈类多行日志同时记录文件读取偏移量存入 registry 文件。本地预处理对日志做过滤、字段增减等轻量化处理。日志推送将处理后的日志批量发送至目标端Logstash 或 Elasticsearch。更新偏移推送成功后更新读取位置实现断点续传重启不会重复采集。1.1 filebeat 采集 web 服务日志安装 httpd 服务[rootserver4 ~]# yum install -y httpd[rootserver4 ~]# echo server4 /var/www/html/index.html[rootserver4 ~]# systemctl start httpd上传filebeat-7.6.1-x86_64.rpm安装 filebeat 并激活 apache 模块[rootserver4 ~]# rpm -ivh filebeat-7.6.1-x86_64.rpm[rootserver4 ~]# cd /etc/filebeat/modules.d[rootserver4 modules.d]# filebeat modules enable apache[rootserver4 modules.d]# vim apache.yml输出到ES[rootserver4 modules.d]# cd ..[rootserver4 filebeat]# vim filebeat.yml检查配置文件语法测试与 ES 的连接没问题启动 filebeat[rootserver4 filebeat]# filebeat test config -c /etc/filebeat/filebeat.yml[rootserver4 filebeat]# systemctl enable --now filebeat启动失败apache.yml配置文件第 13 行YAML 语法错误YAML 格式强制要求key: 值冒号后必须跟空格、缩进统一用空格、不能用 Tab、符号不能缺失。[rootserver4 ~]# cd /etc/filebeat/modules.d[rootserver4 modules.d]# vim apache.yml[rootserver4 modules.d]# systemctl enable --now filebeat.service自动添加索引1.2 输出到 logstash编辑配置文件并启动 logstash[rootserver5 ~]# cd /etc/logstash/conf.d/[rootserver5 conf.d]# cp grok.conf beats.conf[rootserver5 conf.d]# vim beats.conf[rootserver5 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/beats.conf#不要中断此程序修改 filebeat 输出[rootserver4 modules.d]# vim /etc/filebeat/filebeat.yml[rootserver4 modules.d]# systemctl restart filebeat.serviceserver5终端有数据输出但是有警告在两个网页上把 apachelog 索引删掉避免生成新的 apachelog 索引时与之冲突警告消失测试[rootserver3 ~]# curl server4server5正常输出网页上会自动创建新的 apachelog 索引2 kibana 数据可视化2.1 部署kibana-7.6.1-x86_64.rpm上传到server4的/root安装修改配置文件后启动[rootserver4 ~]# rpm -ivh kibana-7.6.1-x86_64.rpm[rootserver4 ~]# cd /etc/kibana/[rootserver4 kibana]# vim kibana.yml[rootserver4 kibana]# systemctl enable --now kibana.service访问server4 IP:56012.2 定制数据可视化2.2.1 网站访问量测试[rootserver4 kibana]# ab -c1 -n 300 http://192.168.40.144/index.html2.2.2 访问量排行榜测试[rootserver1 ~]# ab -c1 -n 100 http://192.168.40.144/index.html[rootserver2 ~]# ab -c1 -n 300 http://192.168.40.144/index.html[rootserver3 ~]# ab -c1 -n 300 http://192.168.40.144/index.html[rootserver4 ~]# ab -c1 -n 200 http://192.168.40.144/index.html2.3 创建dashboard