概述

最近更新时间: 2026-03-13 09:03:00

Flink 核心是一个开源的分布式、高性能、高可用、准确的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink 提供了更高抽象层的 API 以便您编写分布式任务。

  • 分布式:表示 Flink 程序可以运行在多台机器上。
  • 高性能:表示 Flink 处理性能比较高。
  • 高可用:表示 Flink 支持程序的自动重启机制。
  • 准确的:表示 Flink 可以保证处理数据的准确性。

    上图中左边是数据源,从这里可以看出来,这些数据是实时生产的一些日志,或者是数据库,文件系统,kv 存储系统中的数据。中间是 Flink,负责对数据进行梳理。右边是目的地,Flink 可以将计算好的数据输出到其它应用系统中,或者存储系统中。Flink 的三大核心组件如下:
  • Data Source:也就是图中左边的数据源。
  • Transformations:算子(负责对数据进行处理)。
  • Data Sink:输出组件(负责把计算好的数据输出到其它应用系统中)。