日常巡检

检查监控控制台
登录租户端控制台，查看应用性能整体的功能是否正常

• 前提条件:
  已获取租户端账号。
• 操作步骤:
  登录租户端应用性能监控控制台，查看应用详情等列表的功能。
• 检查结果:
   正常：页面无报错，列表可以正常展示，曲线正常展示 。
   异常：页面有报错，或无监控数据。
• 异常处理:
  按照《运维手册》中故障处理章节进行排查与处理。
• 运维经验
  无。

检查kafka状态
登录zk和kafka节点，检查kafka状态是否正常。

• 前提条件:
  已获取zk节点和kafka节点登录信息。
• 操作步骤:
  进入zk部署的bin目录下，运行zkCli.sh，运行 ls kafka/kafka/brokers/ids。
• 检查结果:
  如果返回[1, 2, 3]或[0,1,2] 则表示有3台kafka节点在运行中，如果缺少，有可能节点有异常，但不一定影响服务，但仍需尽快修复。
  如果上述命令返回少于3个，说明有节点异常，执行get kafka/kafka/brokers/ids/0，可以得到节点ip信息（id的编号从上边的返回结果取），将返回的id依次执行，跟kafka部署的ip对照，既可知道异常的kafka节点信息。
• 异常处理:
  登录异常的kafka节点，ps -ef|grep kafka查看进程是否存在，如不存在，进入bin目录，执行sh kafka-server-start.sh则重新拉起。
• 运维经验:
  Kafka节点部署机器应加上crontab，如进程挂掉则自动拉起。

检查Elasticsearch状态
检查Elasticsearch状态是否正常。

• 操作步骤:
  curles1.barad:9200/_cat/health?v，查看返回的status是否为green。
  curles1.barad:5100/search/clusters, 查看返回结果中当前集群的磁盘使用量。
• 检查结果:
  正常：集群状态为green, 当前集群的disk_used / capacity.disk <= 0.8。
  异常：集群状态为red或yellow，当前集群的disk_used /capacity.disk > 0.8。
• 异常处理:
  集群状态为red和yellow可能是es的node故障，需要登录node查看进程是否挂掉，如果挂掉需要执行./bin/elasticsearch重新拉起。
  集群disk_used /capacity.disk > 0.8，表明集群容量不足，需要进行扩容。
• 运维经验:
  将Elasticsearch节点的磁盘使用率监控起来。

检查其他pod状态
登录tcs-master主机，查看apm相关pod是否正常。

• 前提条件:
  已获取tcs-master主机登录信息。
• 操作步骤:
  登录tce-master主机。
  执行命令’kg tcloud-apm，查看pod是否是running状态。
• 检查结果:
  正常： apm相关pod都在运行中。
  异常：apm相关的pod有非运行中的状态。
• 异常处理:
  查看异常pod的日志和事件信息，根据事件信息进行处理。
• 运维经验:
  查看如果遇到异常pod，可以尝试重启pod。

其他模块巡检
其他模块均可依赖tcs的健康检查进行巡检。