简要介绍

TBDS-ES 平台同时内置了开源版 Logstash ，用户可以基于 TBDS 平台进行安装部署、运维、使用。它是一个服务器端的数据处理管道，支持动态的从不同来源采集和转换数据，并将数据标准化到目标位置。Logstash 常和 Elasticsearch 配合，通过输入、过滤和输出插件，加工和转换任何类型的事件，将数据加载到 Elasticsearch。
Logstash 主要分为 input、filter、output 三种工作方式：

• 数据输入：支持多样的数据来源，通过输入插件方便的采集日志、指标、Web 应用、数据库、消息队列、传感器等来源数据。
• 数据过滤：通过过滤插件清理和转换数据，如将非结构化数据解析导出结构、解析 IP 地址、标准化日期、通过编解码器简化常见格式等。
• 数据输出：通过输出插件将数据传输到需要的地方，例如 Elasticsearch、数据库等，以便对数据做进一步的分析和处理。
  更多参考：Logstash Reference [7.10]

开发使用说明

Logstash 的部署、配置说明：

• 支持和 ES 节点混合部署，也支持独立节点部署，用户在集群的安装&扩容时可以进行选择。
• 实例配置可以在 TBDS 平台进行配置，包括 JVM、YAML文件配置。
• Logstash 通过管道来实现数据的采集处理，它包含必选的 input 和 output 插件，以及可选的 filter 插件，并支持多管道并行运行。用户可以通过 TBDS 平台进行Logstash 管道文件的配置管理，包括创建管道、修改管道、和删除管道以及版本管理。

操作如下：

1. 配置pipelines.yml 文件，指向具体的路径文件。
   
2. 利用 TBDS 平台的“新增配置文件”功能，将上一步具体指向的文件进行填写，系统会下发到服务器生效。
   
   ELK 链路 Demo 可参考：Beats 下载