组件列表

最近更新时间: 2026-03-13 09:03:00

经典版组件

注意:

Flink组件:默认仅提供运行时支撑,不提供任何生态 Connector,如需构建复杂的业务场景,建议申请 WeData 数据集成、实时开发模块来满足。

分类组件名称组件说明类别变更类型组件版本
数据接入Kafka分布式消息中间件:可提供高吞吐量的分布式发布订阅消息系统用户组件2.8.2
KafkaManager(CMAK)用于管理Kafka集群的可视化工具用户组件3.0.0.6
数据存储HDFSHadoop分布式文件系统:支持高吞吐量、高度容错性,适合运行在通用硬件上的海量数据分布式文件系统用户组件3.2.2
HBase基于HDFS的分布式列式数据库:一个高可靠性、高性能、面向列、可伸缩的分布式存储系统用户组件2.4.5
Uniffle一个远程 Shuffle 服务,为 Apache Spark 应用程序提供了在远程服务器上存储 Shuffle 数据的功能用户组件新增0.10.0
PhoenixHBase的SQL查询引擎,为HBase数据提供关系型数据库一样的SQL查询功能用户组件5.1.2
Iceberg面向海量数据分析场景的开放表格式数据组织方案,与数据存储和计算深度融合提供数据实时流批一体处理的能力用户组件1.6.1
计算分析MapReduceMapReduce是一个基于集群的高性能并行计算平台用户组件3.2.2
TezTez 是支持 DAG 作业的计算框架,一般和 Hive 组合使用。用户组件0.10.2
Spark集交互SQL查询、批处理、流式计算、图计算、机器学习为一身的新一代大数据计算框架用户组件升级3.5.4
Flink一个面向数据流处理和批量数据处理的可分布式的开源计算框架用户组件1.16.1
Hive基于Hadoop的数据仓库工具:将结构化的数据文件映射为数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务运行用户组件3.1.3
Trino开源的MPP架构的OLAP查询引擎,可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎用户组件435
ImpalaImpala是一个分布式SQL查询引擎,主要用于对存储在Hadoop HDFS或HBase中的大数据进行低延迟的SQL查询与分析。用户组件4.1.0
StarRocks是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析用户组件升级3.3.11
ElasticSearchElasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎用户组件7.10.1
Kibana数据分析与可视化工具用户组件7.10.1
资源调度Yarn提供统一的资源管理和调度能力用户组件3.2.2
开发工具HueHue是一款基于Web的交互式查询编辑器用户组件4.10.0
公共支撑Kyuubi【可选】统一的多租户JDBC接口,用于大规模数据处理和分析,建立在Apache Spark™之上用户组件1.9.0
Knox后台服务-Hadoop API/UI网关系统组件1.6.1
ZooKeeper分布式协调服务:为分布式应用提供一致性服务,提供配置维护、名字服务、分布式同步、组服务等功能系统组件3.7.2
Ranger集中式安全管理,可在Web UI或使用REST API管理所有与安全相关的任务;基于策略(Policy-Based)的访问权限模型,支持大部分Hadoop生态组件,支持审计,支持与LDAP、Linux系统的用户同步系统组件2.3.0
Kerberos网络认证协议,其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务系统组件1.21.2
LDAP后台服务-轻量目录访问协议系统组件2.4.44
MetaService统一元数据管理服务,支持多Catalog集中管理系统组件0.7.0
Luoshu数据湖优化服务,支持包括文件合并、文件清理等系统组件新增0.7.1