资源组概述

最近更新时间: 2026-03-13 09:03:00

资源组概述

资源组是对 TBDS 平台上 Hadoop 资源进行逻辑划分的单元,由存储和计算资源组成。每个资源组至少包含一个存储资源或一个计算资源,设置约束如下:

  • 资源组是由存储和计算资源构成的集合,每个资源组至少需要包含一个存储资源或一个计算资源。
  • 如果资源组中包含了 YARN 队列,那么其所包含的存储资源必须与 YARN 队列位于同一集群。
    资源组划分模型举例如下:

考虑到YARN独特的机制,资源组在创建时的计算配额分配方法存在差异:

  • YARN资源组:通过与YARN队列的关联来实现计算资源的分配。为此,需要事先在YARN的调度配置中完成队列的设定。

资源组的用途说明如下:

  • 实现团队间资源隔离:企业可以为团队分配一个或多个资源组。在每个资源组内,可以关联多个 YARN 队列,资源组下 YARN 队列可以通过配置实现资源的共享或独占,从而帮助企业更有效地管理团队或应用之间的资源竞争问题。
  • 实现基于资源组授权:在用户权限-用户详情-关联资源权限中支持为用户分配资源组权限,请注意:一旦用户被授予资源组权限,他们将自动获得该资源组内所有资源的访问权限,而无法进行更细粒度的权限控制。
  • 统一开放 API:提供统一的资源组开放 API,便于上层工具灵活对接,满足其资源隔离需求。

默认资源组

平台部署完成后,为了确保用户能够迅速上手,TBDS 平台预置了一套默认资源组。用户无需进行额外配置,即可实现即开即用的便捷体验,YARN 默认资源组是指每个 YARN 集群都包含一个默认的资源组,该资源组关联了 YARN 集群的 default 队列。