功能介绍
联邦管理功能支持用户对集群进行联邦拓展,为HDFS集群添加多个独立的HDFS NameService,实现HDFS元数据隔离,打破集群规模限制和性能瓶颈。TBDS支持通过管控平台进行HDFS NameService和Router的部署操作。
操作步骤
- 登录 TBDS Manager管理平台,在集群列表中单击对应的集群 ID/名称进⼊集群详情页。
- 在集群详情页中选择集群服务 > HDFS 组件进⼊联邦管理页。

- 点击添加NameService按钮,根据弹窗中的流程指引进行新增HDFS NameService流程。

- 输入新建HDFS NameService的名称后,用户可以根据规划选择Master节点进行新HDFS NameService的配置,每个新增的HDFS NameService需要新增部署两个HDFS NameNode,支持部署在集群中任意尚未部署HDFS NameNode的Master节点。HDFS DFS Router默认与新增的HDFS NameNode 1:1部署在同个节点。
- 点击确定后,任务中心将启动HDFS联邦添加NameService的工作流,进行相关进程的部署,并对更新集群内的HDFS和与HDFS相关的Spark,Hive,Amoro等服务的配置。
- 待任务完成后,在联邦管理卡页中,用户可见新增的HDFS NameService信息。
说明:
- 新建联邦后,请重启集群部署的依赖HDFS的各个上层组件以生效配置修改,包括且不限于Yarn,Hive,Spark,Flink,Impala,Amoro,Kyuubi,Hue。
- 当前版本数据管理暂不支持通过联邦管理新增HDFS NameService的查看和管理。
- 当前版本暂不支持通过SDK操作在联邦管理新增的HDFS NameService。
- Hue暂不支持查看在联邦管理新增的HDFS NameService的数据目录。
- 访问联邦集群时,请确认新增HDFS NameService已在Ranger中注册且已为用户设置目标对象的访问权限。
- amoro需要在开启联邦后再安装,否则amoro的配置无法更新。
集群内开启

虚拟命名空间默认为nsfed,同时支持自定义。
限制:
- 第一次要求选择2个router,后续可以选择0-n个router。
- 联邦新添加的Namenode节点,不与其他组件混布。
集群间开启

虚拟命名空间默认为nsfed,同时支持自定义。
注意:
- router相关命令,需要在router节点上执行。其他节点不支持运行router相关命令。
- 第一次要求选择2个router,后续可以选择0-n个router。

