部署TBDS客户端

最近更新时间: 2026-03-13 09:03:00

警告:

在 TBDS 环境中进行任何组件(包括但不限于 Kafka, HBase, Hive, Spark, Elasticsearch 等)的运维管理、数据读写或应用开发时,必须严格使用当前 TBDS 版本所提供的配套客户端及 SDK。

  • 严禁使用开源社区下载的通用客户端直接连接 TBDS 组件。
  • 严禁使用低版本 TBDS 的客户端操作高版本 TBDS 的服务(跨版本混用)。
  • 严禁在未确认兼容性的情况下,使用第三方工具进行开发应用操作。
    原则: 需下载使用与TBDS 集群同版本的控制台/安装包中提供的 Client。

在提交程序到大数据集群之前,首先需要在开发机上面部署 TBDS 自带的客户端, 针对应用开发者的开发机,有两种情况:

TBDS 集群内开发机

应用程序提交以及运行在 TBDS 大数据集群内的服务器, 因为大数据集群内的服务器默认都安装了客户端,不需要再单独安装。

TBDS 集群外开发机

应用程序提交以及运行在 TBDS 大数据集群外的服务器, 因为大数据集群外的服务器并不受 TBDS 管理,因此无法自动安装上客户端。
对于集群外服务器部署 TBDS 的客户端,有两种方式:

方式1:

直接安装 TBDS 的hdfs、hive、hbase、yarn、spark、kafka 等 组件的客户端,具体安装方法如下:
下载安装工具https://tbds-mirror-1258756906.cos.ap-guangzhou.myqcloud.com/tools/TBDS_clients_install_tools.tgz
**工具组成:**每个版本均提供如下组成部分:
|-- install-TBDS-client.sh //客户端安装脚本
|-- prepare-TBDS-client-installpackage.sh //客户端安装包准备工具

注意:

以上文档链接如无权限请联系运维工程师获取。

  **客户端安装包准备工具:**客户端安装包准备工具即prepare-TBDS-client-installpackage.sh,在TBDS集群内任意一台完整安装了hdfs,hbase,hive,spark,kafka,hbase,tez等所有客户端的节点执行,如图所示,直接执行,会运行脚本,到最终执行成功:
  ![](//imgcache.fincloud.tencent.cn/doc_pdf/static//imgs/f_2025-10-31_f_bd44ea50-b629-11f0-a678-95d508117551.png)
  执行成功后,将相关压缩包同步到TBDS集群外需要安装客户端的节点上。节点最好是环境比较干净的状态,如没有JDK,没有生产程序等。
  【注意】此处2个配置项请在使用前确认正确并符合预期。
  以TBDS531为例:
  prepare-TBDS531-client-installpackage.sh
         如图:


如需要将打包的客户端文件放到其他目录下,则修改此处即可。默认打包保存在/data/下,如果需要打包保存在/data1下则修改为DATADIR=”data1”。

  prepare-TBDS-client-installpackage.sh检查中 输出Sqoop目录有误/usr/local/service/apps/sqoop1.4.7, 需要改为/usr/local/service/apps/sqoop-1.4.7。
  如图:
  ![](//imgcache.fincloud.tencent.cn/doc_pdf/static//imgs/f_2025-10-31_f_bdc3de50-b629-11f0-a678-95d508117551.png)
  此处定义将要安装的客户端文件将释放在哪个挂载了磁盘的目录下,默认为/data1/,变量的设置为data1即可,若需要为/data/分区下,则改为DATADIR=”data”。
  
  **客户端安装工具:**执行完成准备工作相关操作后,就需要安装客户端了,安装客户的脚本为install-TBDS-client.sh,执行位置为TBDS集群外需要安装客户端的节点的任意位置,保证准备步骤打包的客户端文件已经传到该节点。
  该脚本支持全部客户端安装,以及按需安装,如下为使用提示:
  ![](//imgcache.fincloud.tencent.cn/doc_pdf/static//imgs/f_2025-10-31_f_bd98fdc0-b629-11f0-a678-95d508117551.png)
  在选择所有客户端都安装后,会自动安装,直到完成所有操作。
  ![](//imgcache.fincloud.tencent.cn/doc_pdf/static//imgs/f_2025-10-31_f_bd696240-b629-11f0-a678-95d508117551.png)
  ![](//imgcache.fincloud.tencent.cn/doc_pdf/static//imgs/f_2025-10-31_f_bd2c5940-b629-11f0-a678-95d508117551.png)
  **TBDS53XX版本开启kerberos的特殊处理**
  TBDS版本从530以上版本可支持kerberos认证,该认证情况下,需要额外添加该认证的相关配置文件。
  - 针对TBDS530X版本需要把集群的/etc/krb5.conf文件同步到集群外服务器,同时安装kerberos客户端,如有yum源情况下安装yum install krb5-workstation;关于认证文件keytab的获取,TBDS530X版本需要平台侧提供;
  - 针对TBDS531X版本客户端会自动同步krb5文件,但仍需安装kerberos客户端;TBDS531X版本用户可以在TM集群管理的用户管理页面下载对应用户的keytab文件。
  

方式2

应用开发者已经安装好开源社区的组件客户端(要求版本与 TBDS 内部的组件 版本一致,或者兼容),此时可以直接复用社区版的客户端进行访问。

注意:

建议开发者采用方式1;由于不同类型的 HADOOP 客户端有一定差异,若采用上述的方法2部署客户端,可能会存在不兼容问题。