TBDS提供了一整套安全创新的企业级大数据集群服务，用户可轻松使用HDFS、Spark、Flink、ES、StarRocks等存算分析组件。
TBDS由TM（TBDS Manager）管控平台和TE（TBDS Engine）组件两部分构成，通过操作TM管控平台，用户可以快速进行集群安装部署、运维管控，并高效访问TE组件服务。通过使用在集群中的各种存算组件，运行大数据作业任务，进而满足数据应用需求。

在正式使用TBDS之前，需要先完成管控平台的部署安装，TM是创建和管理集群的基础。完成管控平台安装后，可以基于TM对业务集群进行配置管理了，TBDS的基本使用流程如下：

1. **主机管理，**集群部署依赖主机环境，用户需要先完成主机规划和配置，才能创建集群；同样在卸载集群后，建议删除主机释放资源。

2. 创建集群，用户可以指定集群类型用于数据存储计算任务，TBDS提供了多种集群类型，用户可自定义其节点类型、资源规格、要安装的组件等。
   集群创建过程需按照公共集群--经典集群的依赖关系依次进行部署。

3. 访问集群，提供经典集群访问；用户可通过TM控制台进行集群服务资源管理、访问组件WebUI，可通过客户端进行节点组件操作。

4. 提交作业，TBDS为用户提供程序执行平台，程序由用户自身开发，TBDS负责程序的提交、执行和监控。

5. 管理集群，TBDS Manager作为用户企业级的大数据集群的统一管理平台，可帮助用户快速掌握服务及主机健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现启停、配置下发等操作。

6. 卸载集群，如果当前存算集群不再承载业务，或需要释放资源用于重新搭建，可以选择卸载集群。

主机管理

TBDS提供统一的主机管理功能，集中维护平台所有主机信息。通过集成化的查看和管理视图，用户可高效完成主机规划和配置：主机管理

创建集群

部署公共集群

公共集群为整个平台提供了统一且强大的公共基础能力，包括安全服务和元数据服务，是创建其他业务集群的基础，一个租户（主账号）仅包含一个公共集群。
步骤1：通过管理员用户首次登录 TBDS Manager后（参考：用户登录），可以看到公共集群部署引导页面。
步骤2：选择部署方式：支持物理机部署方式；高级配置支持内置KDC和企业KDC模式。
步骤3：设置集群密码，元数据库信息：公共集群服务依赖的数据库存储其元数据和配置等信息，需要确保输入账号具有创建和管理数据库的权限。
步骤4：确认信息后，点击“开始部署”，等待部署完成后，查看公共集群详情是否正常，若正常则完成部署。
详细操作参考公共集群：安装公共集群

创建经典集群

采用物理机部署模式；按照组件类型进一步提供四种集群类型，包括：
Hadoop集群，大数据分布式系统基础框架，适用于离线/实时分析等各类大数据场景。包含了经典的存算分析组件，如Hive、Spark、Flink、Trino组件。
StarRocks集群，极速统一的OLAP分析数据库，适用多维分析，实时分析，高并发等场景。
Elasticsearch集群，大数据分布式搜索引擎，适用于对海量数据进行存储、全文搜索、日志分析等场景。
Kafka集群，高吞吐消息处理系统，适用于异步消息和流式数据的接收和分发场景。

创建经典集群基本步骤参考：部署集群

访问集群

访问TBDS Manager管控平台

TBDS提供了租户端和运营端入口，两个入口的子域名前缀不同。TBDS Manager管控平台通过租户端进入（注意：租户端子域名以tbds.xxx开头，登录前请确保打开Manager页面浏览器所在的客户端机器与该集群网络互通）：

1. 登录方式支持主账号、子账号登录（主账号是内置账号，可以创建多个子账号进行资源共享和逻辑隔离（基于资源组），主账号之间进行物理资源隔离），第一次登录通过主账号方式，进入后通过用户管理自定义创建子账号。
2. 子账号登录需要增加输入主账号的UIN信息（主账号登录后，查看账号信息中的账号ID，即为UIN）。
   详细操作参考：用户登录

使用客户端

用户可以通过客户端访问集群内节点、组件服务，TBDS提供了客户端管理服务，方便进行客户端连接配置：

1. 登录 TBDS Manager管理平台，在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 单击左侧客户端管理，即可进入客户端管理页。
3. 下载安装包：可手动下载集群内客户端安装包，支持仅下载配置文件。点击下载之后左上角会有下载进度，下载完毕之后点击安装客户端。
4. 安装客户端：输入节点IP、端口、用户名、密码等信息，安装远程客户端；注意是覆盖式安装。节点类型支持X86/ARM，安装前需进行节点初始化操作。
5. 安装后即可以访问集群节点的方式进行登录使用。
   功能详细参考：客户端管理

   注意：

   客户端安装注意：

   1. 下载节点和安装节点要保证SSH通信正常
   2. 保证下载节点已经安装Hadoop、hive、hbase、zookeeper、kafka、spark、Sqoop
   3. 下载节点有cluster.info文件、/etc/krb5.conf、/var/krb5kdc/emr.keytab、/etc/chrony.conf、/usr/local/JDK

访问集群内节点

TBDS集群由多个主机节点组成，根据节点上部署的组件角色的不同，集群内的节点类型可以分为管理节点（Master）和数据节点（Core、Task），为了更好进行集群节点运维管理，往往需要登录访问不同类型的节点。
TBDS提供客户端管理功能，可以支持用户通过本地客户端快速访问经典集群某个节点服务器；下面以 PuTTY 为例，介绍本地电脑如何使用远程登录软件通过密钥或密码方式(SSH方式)登录 TBDS 经典集群：

1. 登录TM控制台，点击进入需要操作的经典集群，在“集群资源-节点状态-节点列表”可查看集群节点资源信息，进程部署状态；
2. 复制需要登录操作的节点IP地址，打开 PuTTY 客户端，输入IP/Port，选择【SSH】，输入节点管理员账号密码进行登录。
   详细操作参考：登录集群

访问集群内组件 Web UI

TBDS集群默认托管了标准组件的Web UI界面，用户可以通过这些Web UI界面查看组件相关信息。 WebUI 默认登录账号密码为创建集群时设置的账号密码。

针对经典集群组件访问WebUI步骤：

1. 在TBDS Manager首页 > 经典集群 > 集群服务,点击对应组件下方“WebUI地址”；可以看到访问地址链接（由于组件采用高可用模式，因此会有多个地址链接）
2. 点击访问地址链接将进行页面跳转（注意自动跳转是通过内网IP地址链接，若部署的集群采用公网和内网IP分离，则可能根据组网模式需要手动替换为当前客户端能访问的公网IP）。

针对公共集群组件访问WebUI步骤：

1. 在TBDS Manager首页 > 公共集群>服务信息，点击进入需要操作的组件，进入组件管理页，点击“查看信息-查看WebUI”；
2. 点击访问地址链接将进行页面跳转（注意自动跳转是通过内网IP地址链接，若部署的集群采用公网和内网IP分离，则可能根据组网模式需要手动替换为当前客户端能访问的公网IP）；
3. 注意Ranger组件的登录账号特殊，只能通过root登录，密码为创建集群时设置的密码。

详细参考：WebUI 访问管理

提交作业

经典集群提交作业

您可以通过经典集群创建并提交作业；本文以提交 Spark 任务为例，操作如下：

1. 客户端使用 SSH 登录并连接集群。
2. 切换到操作用户（注意需要提前获取该用户keytab），并进入 Spark 安装目录/usr/local/service/spark，进行Kerberos认证（集群为simple认证跳过）：

[test@10 ~]$ cd /usr/local/service/spark
[test@10 spark]$ klist -kt {keytab}
[test@10 spark]$ kinit -kt {keytab} {principal}

3. 如下示例代码，演示了提交任务并输出运行结果（更多组件示例代码请参考组件开发指南）：

# 2. spark-submit提交任务
# 2.1 计算Pi，client模式，结果将输出到控制台
[test@10 spark]$ bin/spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.12-3.2.2.jar
Pi is roughly 3.142435712178561
 
# 2.2 WordCount，cluster模式，输出部分日志到控制台，结果可查看yarn日志
[test@10 spark]$ vim /tmp/wordcount.txt
hello world
hello spark
hello hadoop
scala java
java kyuubi
[test@10 spark]$ /usr/local/service/hadoop/bin/hdfs dfs -put /tmp/wordcount.txt /tmp/
[test@10 spark]$ bin/spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.JavaWordCount examples/jars/spark-examples_2.12-3.2.2.jar hdfs：///tmp/wordcount.txt

4. 提交作业后可在TM页面，单击目标集群所在行的集群服务；单击 YARN UI 所在行的 WebUI 链接，登录认证后即可进入YARN UI 页面；单击目标作业的 ID，可以查看作业运行的详情。

管理集群

通过TM管控平台可以高效进行集群管理、数据管理、资源管理和用户权限管理。

公共集群管理

确保公共集群的高可用性对于整个平台的稳定运行至关重要。在日常运维工作中，运维团队会定期对集群执行健康检查和负载监控，以评估其性能并决定是否需要进行资源的扩展或缩减。

经典集群管理

经典集群管理操作和相关文档如下表：

数据管理

数据管理基于统一元数据为用户提供了统一视图，用户可以集中管理和查看结构化的数据库表，以及半结构化或非结构化的文件。TBDS为经典集群上的 Hive/Iceberg（共享一个 Hive Metastore）和 HDFS 提供了集中的数据管理入口。当经典集群安装后，会自动将自身注册到数据管理服务中。

1. 库表管理：按照库表层级结构展示库表信息，点击数据目录、数据库和数据表，右侧会展示对应信息；参考：库表管理。
2. 点击左侧文件夹，右侧将展示文件夹下的文件和子文件夹，可对文件夹进行复制路径、复制、重命名、移动、授权、回收、删除等操作。也可对文件进行文本或二进制预览；参考：文件管理。

资源管理

资源组是对TBDS平台上Hadoop资源进行逻辑划分的单元，由存储和计算资源组成。通过资源管理可以高效实现团队间资源隔离（资源组下YARN 队列可以通过配置实现资源的共享或独占）和用户授权。
资源组包括如下两类：

1. 默认资源组：平台部署完成后，会提供YARN 默认资源组（关联了YARN 集群的 default 队列）；参考：默认资源组。
2. 自定义资源组：
   YARN资源类型（将 YARN 的队列绑定到该资源组下实现计算配额分配，将经典集群的HDFS存储路径绑定到该资源组下实现存储配额的分配）；参考：创建 YARN 资源组、编辑 YARN 资源组、删除 YARN 资源组。

   注意：

   1、一旦用户被授予资源组权限，他们将自动获得该资源组内所有资源的访问权限，且无法进行更细粒度的权限控制。

   2、如果资源组中包含了 YARN 队列，那么其所包含的存储资源必须与 YARN 队列位于同一集群。

用户权限

TBDS 为用户提供了多级租户管理机制，包括支持物理隔离的一级租户和逻辑隔离的二级和以下租户。
为此TM提供了三类用户的管理：主账号（租户管理员，默认内置），子账号（租户成员，自定义创建），保留用户（默认内置，如root、hadoop），用户密码分为：TM控制台登录密码、集群密码（集群组件的访问密码）；不同用户的管理和使用方式可参考：用户权限

平台管理

卸载集群（可选）

集群卸载功能支持用户通过平台界面化操作解除服务集群和TBDS Manager管理平台间的管理关系，平台将停止集群中的组件服务并清理集群TBDS Manager平台中的元数据信息。
集群卸载流程不可恢复，请谨慎操作。
经典集群卸载：集群卸载。

注意：

公共集群的卸载属于高危操作，不支持用户直接卸载；

集群卸载操作将不会删除集群中存储的数据，业务数据将被保留。若需要进一步清理需在主机管理中进行重置主机操作。