经典集群包括了经典的 Hadoop 集群,支持 Hadoop、StarRocks、Kafka、Elasticsearch 集群类型。可根据具体应用场景灵活选择并部署所需组件。
前提条件
- 已完成TBDS Manager安装。
- 已完成公共集群安装。
- 准备符合MySQL协议标准的元数据库。
操作场景
本节为您介绍通过 TBDS Manager 管理平台创建一个TBDS 集群的操作。
操作步骤
登录 TBDS Manager 管理平台,在集群列表页单击创建集群。
1. 软件配置
- 产品版本和部署组件:TBDS 推荐了常用的 Hadoop 、StarRocks、ElasticSearch 集群类型和应用场景下的组件搭配,可以根据⾃⾝需求组合,注意:不同类型场景下可选组件不同(可参见组件清单说明),包含必选和可选组件,可选组件存在依赖关系,注意依赖组件需要一并选择;也可以在集群创建后进行可选标准组件的增加。
- 网络设置:支持IPv4/IPv6/双栈模式,注意支持IPv6/双栈模式的前提是云平台和TM部署模式为双栈,否则经典集群只支持ipv4。
- 安全管理配置,默认集群将开启kerberos认证,注意认证模式只能在创建集群时选择,集群部署完成后不支持开启或关闭,后续关联集群的认证模式依赖首个集群的Kerberos认证状态,需结合集群规划谨慎选择。
- 软件配置:按照要求填写参数可实现自定义软件参数创建集群,同时兼容访问外部集群功能,在参数中正确配置访问地址信息即可读写外部集群的数据。具体操作请参考软件配置。
2. 节点部署配置
- 节点配置:TBDS 提供了多种节点类型,可以根据业务需要为不同节点类型选择合适机型配置。Master节点数量最大100台,不同服务Master进程完全独立的场景下可支持4集群联邦。
- 混合部署:TBDS 在开启或不开启混合部署的场景下均为高可用部署。关闭混合部署时,不同类型节点将不允许被部署在同一物理节点上,集群稳定性将得到最大保障;开启混合部署时,Master 节点将支持与 Core 节点部署在同一物理节点上,集群将获得更高的资源利用率。
注意:
Impala,Alluxio,Amoro,Kudu,Flume,Sqoop 组件不支持混合部署模式,选择相关组件后混合部署开关将无法开启。
TBDS提供了如下节点类型:
Master节点:为管理节点,保证集群的调度正常进行;主要部署 NameNode、ResourceManager、HMaster 等进程;数量≥3。
Core 节点:为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容;主要部署 DataNode、NodeManager、RegionServer 等进程。数量≥3。
Task 节点:为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容;主要部署 NodeManager、Trino-Worker 等进程;可随时更改 Task 节点数,实现集群弹性伸缩,最小值为0。
Router 节点:用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容;可随时更改 Router 节点数,最小值为0。
3. 元数据库配置
当部署 Hive、Ranger 等依赖外部元数据库的组件时,需指定访问配置。用户可选择自建的、符合 MySQL 协议的数据库作为元数据库,用于存储元数据。配置需包括 jdbc:mysql:// 开头的访问地址、数据库名、用户名及密码,并确保网络连通性。
4. 部署配置
TBDS默认会根据用户选择的主机自动生成部署方案。如需调整,可开启自定义部署功能进行手动配置。开启后,系统支持在 Core 和 Task 类型节点上自定义部署部分关键组件进程。Master和Core 节点支持 Yarn、Trino、Impala、HBase、Kafka 等服务进行自定义节点部署,满足隔离负载部署需求,其他角色将按照默认方式部署在集群中。
5. 基础配置
- 集群名称:通过设置集群名称,来区分不同 TBDS 集群。
- 集群密码:通过设置集群密码来初始化服务 WebUI 密码。
- 高级设置:通过此功能可以安装其它第三方软件,或修改集群运行环境,引导操作会在集群创建和集群扩容时运行引导脚本(Router 节点除外)。
说明:
引导操作的脚本将按照添加的顺序依次执行,累计不超过16个。
目前控制台只支持集群创建和销毁集群时指定引导操作:
一、集群创建(含扩容)时指定的引导操作支持在如下三个时机执行。
1、集群安装前:安装集群软件之前。
2、集群启动前:在集群服务启动之前。
3、集群启动后:在集群服务启动之后。
二、集群销毁(含缩容)时指定的引导操作支持在如下一个时机执行。
1、服务下线前:在集群服务下线前。
6. 确认配置信息
信息确认:确认集群软件配置信息,节点部署方案和基础配置,完成以上配置后,单击部署集群进⼊创建过程,等待集群进⼊部署流程后即可在 TBDS Manager 集群列表中找到新建的集群。