ElasticSearch学习大纲一、ElasticStack介绍1.1.ELK介绍1.ELK是一个免费开源的日志分析架构技术栈总称可适用于日志分析、数据搜索、数据分析和收集等一些场景比如日志分析和收集是更具有代表性的应用2.ELK包含三大基础组件分别是Elasticsearch、Logstash、Kibana其中Logstash是负责数据的收集ES是数据的存储Kibana是负责数据的展示1.2.ElasticStack介绍1.随ELK的发展又有Beats、elastic cloud的等成员的加入所以就逐渐产生了Elastic Stack的概念二、ElasticStack成员成员1Elasticsearch:Elasticsearch 是使用java开发基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架它的特点有分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等成员2LogstashLogstash 基于java开发是一个数据抽取转化工具一般工作方式为c/s架构client端安装在需要收集信息的主机上server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch或其他组件上去成员3KibanaKibana 基于nodejs是一个开源和免费的可视化工具Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面可以汇总、分析和搜索重要数据日志如下图所示在Kibana中可以构建柱形图饼状图等应用在日志数据分析实时监控等领域成员4BeatsBeats 平台集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。Beats由如下组成:Packetbeat轻量型网络数据采集器用于深挖网线上传输的数据了解应用程序动态。Packetbeat 是一款轻量型网络数据包分析器能够将数据发送至 Logstash 或 Elasticsearch。其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议Filebeat轻量型日志采集器。当面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时Filebeat 将提供一种轻量型方法用于转发和汇总日志与文件让简单的事情不再繁杂Metricbeat 轻量型指标采集器。Metricbeat 能够以一种轻量型的方式输送各种系统和服务统计数据从 CPU 到内存从 Redis 到 Nginx等。可定期获取外部系统的监控指标信息其可以监控、收集 Apache http、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务Winlogbeat轻量型Windows 事件日志采集器。用于密切监控基于 Windows 的基础设施上发生的事件。Winlogbeat 能够以一种轻量型的方式将 Windows 事件日志实时地流式传输至 Elasticsearch 和 Logstash。Auditbeat轻量型审计日志采集器。收集Linux 审计框架的数据监控文件完整性。Auditbeat实时采集这些事件然后发送到 Elastic Stack 其他部分做进一步分析Heartbeat面向运行状态监测的轻量型采集器。通过主动探测来监测服务的可用性。通过给定 URL 列表Heartbeat 仅仅询问网站运行正常吗Heartbeat 会将此信息和响应时间发送至 Elastic 的其他部分以进行进一步分析Functionbeat面向云端数据的无服务器采集器。在作为一项功能部署在云服务提供商的功能即服务 (FaaS) 平台上后Functionbeat 即能收集、传送并监测来自您的云服务的相关数据成员5Elastic cloud基于 Elasticsearch 的软件即服务(SaaS)解决方案。通过 Elastic 的官方合作伙伴使用托管的 Elasticsearch 服务