HDFS联邦管理

最近更新时间: 2026-03-13 09:03:00

功能介绍

联邦管理功能支持用户对集群进行联邦拓展,为HDFS集群添加多个独立的HDFS NameService,实现HDFS元数据隔离,打破集群规模限制和性能瓶颈。TBDS支持通过管控平台进行HDFS NameService和Router的部署操作。

操作步骤

  1. 登录 TBDS Manager管理平台,在集群列表中单击对应的集群 ID/名称进⼊集群详情页。
  2. 在集群详情页中选择集群服务 > HDFS 组件进⼊联邦管理页。
  3. 点击添加NameService按钮,根据弹窗中的流程指引进行新增HDFS NameService流程。
  4. 输入新建HDFS NameService的名称后,用户可以根据规划选择Master节点进行新HDFS NameService的配置,每个新增的HDFS NameService需要新增部署两个HDFS NameNode,支持部署在集群中任意尚未部署HDFS NameNode的Master节点。HDFS DFS Router默认与新增的HDFS NameNode 1:1部署在同个节点。
  5. 点击确定后,任务中心将启动HDFS联邦添加NameService的工作流,进行相关进程的部署,并对更新集群内的HDFS和与HDFS相关的Spark,Hive,Amoro等服务的配置。
  6. 待任务完成后,在联邦管理卡页中,用户可见新增的HDFS NameService信息。

    说明:

    1. 新建联邦后,请重启集群部署的依赖HDFS的各个上层组件以生效配置修改,包括且不限于Yarn,Hive,Spark,Flink,Impala,Amoro,Kyuubi,Hue。
    2. 当前版本数据管理暂不支持通过联邦管理新增HDFS NameService的查看和管理。
    3. 当前版本暂不支持通过SDK操作在联邦管理新增的HDFS NameService。
    4. Hue暂不支持查看在联邦管理新增的HDFS NameService的数据目录。
    5. 访问联邦集群时,请确认新增HDFS NameService已在Ranger中注册且已为用户设置目标对象的访问权限。
    6. amoro需要在开启联邦后再安装,否则amoro的配置无法更新。

集群内开启


虚拟命名空间默认为nsfed,同时支持自定义。
限制:

  1. 第一次要求选择2个router,后续可以选择0-n个router。
  2. 联邦新添加的Namenode节点,不与其他组件混布。

集群间开启


虚拟命名空间默认为nsfed,同时支持自定义。

注意:

  1. router相关命令,需要在router节点上执行。其他节点不支持运行router相关命令。
  2. 第一次要求选择2个router,后续可以选择0-n个router。