扩容指导

pod扩容

1. 扩容依据 除去ZK，Kafka，ES为物理机部署，Barad组件均为无状态服务，已全部容器化部署，只需根据资源使用率进行扩容即可： 当资源使用率大于80%需进行扩容。 由于负载过高导致pod频繁重启需进行扩容。
2. 扩容操作 进行自动扩缩容，同时修改部署yaml的replica个数。

HDFS+Yarn扩容

1. 操作前检查

   注意：

   操作前要检查 hdfs是否丢数据；

   是否可正常读写；

   是否重启active namenode ；standby可正常切换成为 active。

   1. 检查集群的namenode 主备是否正常： hdfs haadmin -getServiceState namenode1 hdfs haadmin -getServiceState namenode2
   2. 确保dn的数量恢复到演练前和集群无丢数据。 hadoop dfsadmin -report
   3. 确保当前hdfs集群可读可写： hadoop fs -put ./本地文件 /tmp/xxx hadoop fs -get /tmp/xxx ./xxnew

2. 扩容操作

   1. 登录物料机。进入hdfs物料目录，备份原来的host信息和变量信息： xxx/product-tcenter-support-hdfs/config]#cp vars.yml vars.yml.bak; cp hdfs_hosts hdfs_hosts.bak
   2. 修改var.yml文件，根据现场实际情况修改：
   3. 修改hdfs_hosts 文件，按照扩容datanode节点的方式来扩容新的节点（把所有的机器ip写入到 idc1中和nodemanager）,其他 server role的ip都要清理干净：
   4. 备份文件：hdfs_install.yml product-tcenter-support-hdfs]# cpTCE/ansible/scripts/hdfs_install.yml TCE/ansible/scripts/hdfs_install.yml.bak
   5. 注释掉所有启动服务的步骤：（正常 294行 start journalnode以后所有的任务都要注释）
   6. 登录物料机相关物料目录，执行如下命令：(把前三步的vars.yml和hdfs_hosts文件复制到) xxxx/product-tcenter-support-hdfs/TCE/ansible/scripts]# cp../../../config/vars.yml ./ xxxx/product-tcenter-support-hdfs/TCE/ansible/scripts]#cp ../../../config/hdfs_hosts ./ xxxx/product-tcenter-support-hdfs/TCE/ansible/scripts]#ansible-playbook -i hdfs_hosts hdfs_install.yml
   7. 复制老hdfs集群nn的配置到扩容的机器 登录新机器，依次拷贝老机器 hadoop包到新机器： cd/usr/local/services scp-P36000 -r old-hdfs-ip-nn1:/usr/local/services/hadoop-3.2.1/etc/usr/local/services/hadoop-3.2.1/ scp-P36000 -r old-hdfs-ip-nn1:/usr/local/services/Hadoop-3.2.1/check_* /usr/local/services/hadoop-3.2.1/
   8. 登录新扩容的机器，启动datanode和nm服务： /usr/local/services/hadoop-3.2.1/sbin/hadoop-daemon.sh start datanode /usr/local/services/hadoop-3.2.1/sbin/yarn-daemon.shstart nodemanager 执行如下命令确保扩容的 新机器都正常启动并加入集群，确保新机器的ip都正常加入 hadoopdfsadmin -report

3. 缩容操作

   1. 登录hdfs的两个 nn节点执行如下操作： /usr/local/services/hadoop-2.9.2]# vim etc/hadoop/excludes_datanodes 将老hdfs的三台机器ip写入该文件中; 执行如下命令(两台nn都添加上述老hdfs ip后，到一台nn执行如下命令即可)： hdfs dfsadmin -refreshNodes 随后执行如下命令按照下述截图检查是否相应的机器处于 Decommission in progress 状态，直到decommissioned 状态
   2. 登录 resourcemanager 的两台机器，执行如下操作： cat /usr/local/services/hadoop-3.2.1/etc/hadoop/excludes_nodemanagers hdfs-10-10-129-133 10.10.129.133 添加要下线的机器ip ，如果是主机名，则把主机名也写上

4. 检查

   1. 检查集群的namenode 主备是否正常： hdfs haadmin-getServiceState namenode1 hdfs haadmin-getServiceState namenode2
   2. 确保dn的数量恢复到演练前和集群无丢数据 hadoop dfsadmin-report
   3. 确保当前hdfs集群可读可写： hadoop fs -put./本地文件 /tmp/xxx hadoop fs -get/tmp/xxx ./xxnew

barad flink-yarn扩容

说明：

该扩容方案是基于新增物理机的方式，如果不需要新增物理机，仅仅只是修改flink的任务配置，只需要运行扩容脚本即可。

1. 增加underlay的cvm的资源
2. yarn扩容
   1. 进入到tcloud-barad-skywalker容器中，注释掉flink的corn检查任务
   2. 完成yarn的扩容，参考以下10.2章节完成：
3. 停掉flink的任务 运行stop-job.sh的脚本，执行成功后，记录运行脚本的毫秒时间戳，用于补算的任务开始的时间戳，查看flink-job.log的任务日志，可以看到如下的图，即代表成功停掉任务。 同时在hadoop的页面可以看到任务已经被kill掉
4. 扩容flink任务
   1. 根据扩容后的yarn配置，修改job.properties中yarn.cpu和yarn.res的数字，其中yarn.cpu代表整个yarn的cpu核数，yarn.res代表最大使用的百分比数字。
   2. 运行scale-flink-config.sh脚本，执行扩容flink的运算配置，数据库manager的c_res_flink可以看到修改后的配置，扩容会启动流，查看日志，看到扩容后的配置，扩容成功的success的日志。
   3. 在hadoop的页面可以看到扩容后的作业处于running状态，flink-ui看到任务正常执行，可以看到如下的图，则代表扩容成功。记录运行成功的毫秒时间戳，作为运行补算任务的结束时间戳。
5. 完成补算任务 根据第三步和第四步得到的起始毫秒时间戳，完成补算任务。