Impala资源调度

最近更新时间: 2026-03-13 09:03:00

功能介绍

Impala资源调度功能支持用户对Impala集群进行资源池划分,为Impala添加多个独立的计算资源池,实现资源隔离。TBDS支持通过管控平台进行Impala资源池配置操作。

操作步骤

新建资源池

  1. 登录 TBDS Manager管理平台,在集群列表中单击对应的集群 ID/名称进入集群详情页。

  2. 在集群详情页中选择集群服务 > Impala 组件进入资源调度管理页面。

  3. 点击开启资源调度启动Impala资源池管理能力,Impala服务重启后资源调度将正式启用。

  4. 点击新建资源池,配置资源池资源后点击确定。

    配置项说明
    资源池名称自定义资源池名称,只允许包含字母、数字、-、_, 长度255字符以内
    最大内存限制资源池查询最大内存限制,建议配合单查询内存限制使用
    单查询内存限制不允许超出最大内存限制
    查询选项默认关闭,若启用MEM_LIMIT查询选项,将允许用户通过该选项自定义单查询内存限制
    最大并发查询数默认值为无限制
    最大排队查询数默认值见default_pool_max_queued配置
    排队超时时间默认值见queue_wait_timeout_ms配置,单位ms
    提交访问控制访问控制列表可以控制向本资源池提交查询的用户
  5. 点击部署生效后,资源池配置将下发生效,用户可以开始将查询提交到新增的资源池。

    说明:

    • 重置操作将还原新建后尚未下发的资源池。
    • 若启用MEM_LIMIT查询选项,服务将允许用户通过该选项自定义单查询内存限制。

配置放置规则

  1. 单击放置规则即可进入放置规则页面,单击新建放置规则即可进行放置规则的新建。
  2. 填写放置类型和池名称。

    配置规则类型说明:
  • root.[pool name]:该规则始终满足,在其它规则不匹配的情况下使用,因此该规则默认要放置在所有匹配规则之后。
  • root.[primary group]:该规则使用与该用户主要组匹配的资源池。Linux 中用户默认的主要组与用户名一致,匹配时会通过用户的主要组与资源池名称比对。
  • root.[secondarygroup]:该放置规则用于匹配用户的次要组,使用与次要组之一匹配的资源池。
  • root.[username]:该放置规则用于匹配与用户名一致的资源池。
  • 已在运行时指定:该放置规则主要使用在运行时指定的资源池。
    放置规则的判断方式,根据放置规则的顺序1、2、3…进行判断,判断到满足条件的放置规则后,后续的规则不再进行匹配。