经典版组件
注意:
Flink组件:默认仅提供运行时支撑,不提供任何生态 Connector,如需构建复杂的业务场景,建议申请 WeData 数据集成、实时开发模块来满足。
| 分类 | 组件名称 | 组件说明 | 类别 | 变更类型 | 组件版本 |
| 数据接入 | Kafka | 分布式消息中间件:可提供高吞吐量的分布式发布订阅消息系统 | 用户组件 | 2.8.2 | |
| KafkaManager(CMAK) | 用于管理Kafka集群的可视化工具 | 用户组件 | 3.0.0.6 | ||
| 数据存储 | HDFS | Hadoop分布式文件系统:支持高吞吐量、高度容错性,适合运行在通用硬件上的海量数据分布式文件系统 | 用户组件 | 3.2.2 | |
| HBase | 基于HDFS的分布式列式数据库:一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 | 用户组件 | 2.4.5 | ||
| Uniffle | 一个远程 Shuffle 服务,为 Apache Spark 应用程序提供了在远程服务器上存储 Shuffle 数据的功能 | 用户组件 | 新增 | 0.10.0 | |
| Phoenix | HBase的SQL查询引擎,为HBase数据提供关系型数据库一样的SQL查询功能 | 用户组件 | 5.1.2 | ||
| Iceberg | 面向海量数据分析场景的开放表格式数据组织方案,与数据存储和计算深度融合提供数据实时流批一体处理的能力 | 用户组件 | 1.6.1 | ||
| 计算分析 | MapReduce | MapReduce是一个基于集群的高性能并行计算平台 | 用户组件 | 3.2.2 | |
| Tez | Tez 是支持 DAG 作业的计算框架,一般和 Hive 组合使用。 | 用户组件 | 0.10.2 | ||
| Spark | 集交互SQL查询、批处理、流式计算、图计算、机器学习为一身的新一代大数据计算框架 | 用户组件 | 升级 | 3.5.4 | |
| Flink | 一个面向数据流处理和批量数据处理的可分布式的开源计算框架 | 用户组件 | 1.16.1 | ||
| Hive | 基于Hadoop的数据仓库工具:将结构化的数据文件映射为数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务运行 | 用户组件 | 3.1.3 | ||
| Trino | 开源的MPP架构的OLAP查询引擎,可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎 | 用户组件 | 435 | ||
| Impala | Impala是一个分布式SQL查询引擎,主要用于对存储在Hadoop HDFS或HBase中的大数据进行低延迟的SQL查询与分析。 | 用户组件 | 4.1.0 | ||
| StarRocks | 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析 | 用户组件 | 升级 | 3.3.11 | |
| ElasticSearch | Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎 | 用户组件 | 7.10.1 | ||
| Kibana | 数据分析与可视化工具 | 用户组件 | 7.10.1 | ||
| 资源调度 | Yarn | 提供统一的资源管理和调度能力 | 用户组件 | 3.2.2 | |
| 开发工具 | Hue | Hue是一款基于Web的交互式查询编辑器 | 用户组件 | 4.10.0 | |
| 公共支撑 | Kyuubi【可选】 | 统一的多租户JDBC接口,用于大规模数据处理和分析,建立在Apache Spark™之上 | 用户组件 | 1.9.0 | |
| Knox | 后台服务-Hadoop API/UI网关 | 系统组件 | 1.6.1 | ||
| ZooKeeper | 分布式协调服务:为分布式应用提供一致性服务,提供配置维护、名字服务、分布式同步、组服务等功能 | 系统组件 | 3.7.2 | ||
| Ranger | 集中式安全管理,可在Web UI或使用REST API管理所有与安全相关的任务;基于策略(Policy-Based)的访问权限模型,支持大部分Hadoop生态组件,支持审计,支持与LDAP、Linux系统的用户同步 | 系统组件 | 2.3.0 | ||
| Kerberos | 网络认证协议,其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务 | 系统组件 | 1.21.2 | ||
| LDAP | 后台服务-轻量目录访问协议 | 系统组件 | 2.4.44 | ||
| MetaService | 统一元数据管理服务,支持多Catalog集中管理 | 系统组件 | 0.7.0 | ||
| Luoshu | 数据湖优化服务,支持包括文件合并、文件清理等 | 系统组件 | 新增 | 0.7.1 |