功能介绍

Elasticsearch 集群中辅助提供 ELK 生态服务，包括 Logstash、Kibana 以及提供开源 Beats 的下载和安装说明。Beats 集合了多种类型数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向Logstash或Elasticsearch发送数据。TBDS-ES 平台提供了三种主要 Beats的下载，包括 Filebeat（收集文件）、Metricbeat（收集服务、系统的指标数据）、Winlogbeat（Windows 时间日志）。

注意：

平台仅提供 TBDS-ES 对应版本的 Beats 的下载和说明，用户需要自行安装到采集端并配置，并发送数据到 TBDS 平台部署的 Logstash 或者 ES 进行传输和存储，并在 Kibana 上做可视化分析展示。

操作步骤

1. 在集群详情页中选择**高级配置 > Beats 下载，**可以看到以上介绍的不同采集器，单击 说明 即可下载浏览对应采集器的安装说明流程。
2. 下载对应环境的采集器部署包，并按照说明文档部署到相应环境。
3. 按照提供的操作说明、采集器官网参考链接进行配置，完成 Beats 的安装部署和配置。

ELK 最佳实践

介绍 Beats 将日志收集发送到 Logstash, 进行数据采集和处理后传输到 ES 存储，然后在Kibana进行展示的完整示例。
前置需要搭建 ES、Logstash、Kibana集群，配置部署好 Filebeat。

1. Logstash 配置
   在logstash的配置管理页面的pipelines.yml新增配置。
   

   - pipeline.id: filebeat-pipeline # 配置新的pipeline
     path.config: "/usr/local/service/logstash/config/pipelines/filebeat-pipeline.conf" # path.config中配置真正pipeline的input, filter, output内容
   

   注意：

   该pipelines.yml文件后台中默认配置了一个alive-pipeline以维持logstash进程能一直在后台运行。

   新增pipeline具体配置文件：
   

   文件名称: filebeat-pipeline.conf # pipelines.yml中配置pipeline对应的path.config的最末尾文件名

   配置路径: /usr/local/service/logstash/config/pipelines # pipelines.yml中配置pipeline对应的path.config对应的目录(不包括最后的文件名)

   权限属性: 755 # 配置755即可

   用户组: elasticsearch
用户名: elasticsearch

   # 配置文件具体内容: input: 接收Filebeat输入的端口, filter: 处理的逻辑, output: 输出的es的地址

   input {
     beats {
       port => 5044
     }
   }
   
   filter {
   }
   
   output {
     elasticsearch {
       hosts => ["http://10.4.4.21:9200", "http://10.4.2.120:9200", "http://10.4.2.13:9200"]  # es的地址
       index => "filebeat-logstash-es-log"  # 输出到的索引
       user => "elastic"   # 对该索引有读权限的es用户
       password => "changeme"  # 密码
     }
   }
   

   重启所有的logstash。

2. Filebeat 配置
   将对应操作系统的安装包和说明文档下载下来。
   

参考说明对Filebeat进行部署配置, 其中 filebeat.yml 配置项中的输出源设置为logstash。

output.logstash:
  hosts: ["node1:5044", "node2:5044", "node3:5044"]

3. Kibana 配置
   可以在Kibana 的图表页面编辑数据的可视化展示，本例仅在Dev Tools 处展示查看对应索引是否创建, 其中是否有数据。