功能介绍
集群分配给各个服务的资源是静态服务资源,这些服务包括Trino、Impala、HBase、HDFS和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。
静态服务池用来指定服务资源的配置。在服务级别上,静态服务池对各服务可使用的资源进行统一管理:
- 限制服务使用的资源总量,支持配置Trino、Impala、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。
- 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。
调度机制
静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。
在一个复杂的集群环境中,多种服务共享使用集群资源,但是各服务的资源使用周期可能会有比较大的区别。
例如以下业务场景,对于一个金融客户:
- 在白天HBase查询服务的业务多。
- 在晚上查询服务的业务少而Hive分析服务业务多。
如果只给每个服务设置固定的资源可能会导致: - 白天查询服务的资源不够用,分析服务的资源空闲。
- 晚上分析服务的资源不够用,查询服务的资源空闲。
集群资源利用率不高,而且服务能力也打了折扣。因此: - 白天多配置HBase服务资源。
- 晚上多配置Hive服务资源。
TBDS Manager同时支持日、周、月三种周期化的调度方式,能够使集群在不同的时间段根据配置动态调整不同组件可以使用的资源。这种基于时间的动态调度机制可以更高效的利用资源,运行任务。