功能介绍
日志搜索功能提供组件的运行⽇志采集和搜索功能,⽀持当前集群核心服务⽇志和节点系统⽇志进行关键词搜索,可以在不登录节点的情况下快速查看服务关键⽇志。
操作步骤
- 登录 TBDS Manager 管理平台,在集群列表中单击对应的集群 ID/名称进⼊集群详情页。
- 在集群详情页中选择集群监控 > 日志搜索可根据当前集群、⽇志文件、节点 IP 和时间范围条件过滤,查看⽇志内容。
或者在集群详情页中选择集群服务>组件卡片>角色管理,查看角色列表,选择某⼀节点IP单击跳转,进⼊节点监控指标展示页,单击角色日志,可跳转⽇志搜索页面。
单击节点 IP,可跳转到对应节点状态页面。单击日志源,可跳转到对应节点监控指标展示页。
关键字说明:- ⽀持关键字全文检索 。
- 支持特殊字符 - . * > < = ! () {} / 检索。
- 支持短语检索,例如:address=/ip:port。
- 在排查问题的时候,经常需要关注关键词的上下文日志,在⽇志搜索页单击查看上下⽂,进⼊⽇志上下⽂页面。

日志搜索支持的服务类型:
日志搜索支持15天内的历史数据搜索。
| 组件 | 角色 | 日志 | 说明 |
|---|---|---|---|
| HDFS | NameNode | /data/emr/hdfs/logs/hadoop-hadoopnamenode.log | NameNode 的运行时日志 |
| ZKFC | /data/emr/hdfs/logs/hadoop-hadoopzkfc.log | ZKFC 的运行时日志 | |
| DataNode | /data/emr/hdfs/logs/hadoop-hadoopdatanode.log | DataNode 的运行时日志 | |
| JournalNode | /data/emr/hdfs/logs/hadoop-hadoopjournalnode.log | JournalNode 的运行时日志 | |
| DFSRouter | /data/emr/hdfs/logs/hadoop-hadoopdfsrouter.log | DFSRouter 的运行时日志 | |
| YARN | ResourceManager | /data/emr/YARN/logs/YARN-hadoopresourcemanager.log | ResourceManager的运行时日志 |
| NodeManager | /data/emr/YARN/logs/YARN-hadoopnodemanager.log | NodeManager 的运行时日志 | |
| JobHistoryServer | /data/emr/YARN/logs/mapred-hadoophistoryserver.log | JobHistoryServer 的运行时日志 | |
| HBase | HMaster | /data/emr/HBase/logs/HBase-hadoopmaster. log | HMaster 的运行时日志 |
| ThriftServer | /data/emr/HBase/logs/HBase-hadoopthrift.log | ThriftServer的运行时日志 | |
| RegionServer | /data/emr/HBase/logs/HBase-hadoopregionserver.log | RegionServer 的运行时日志 | |
| ClickHouse | ClickHouse-server | /data/clickhouse/clickhouseserver/logs/clickhouse-server.log | ClickHouse-server的运行时日志 |
| ZooKeeper | ZooKeeper | /data/emr/ZooKeeper/logs/ZooKeeperroot-server.log | ZooKeeper 的运行时日志 |
| Hive | HiveServer2 | /data/emr/hive/logs/hadoop-hive | HiveServer2 的运行时日志 |
| Ranger | EmbeddedServer | /data/emr/ranger/logs/ranger-admin.log | EmbeddedServer 的运行时日志 |
| Impala | catalogd | /data/emr/impala/logs/catalogd.INFO | catalogd 的运行时日志 |
| statestored | /data/emr/impala/logs/statestored.INFO | statestored 的运行时日志 | |
| impalad | /data/emr/impala/logs/impalad.INFO | impalad 的运行时日志 | |
| Spark | HistoryServer | /data/emr/spark/logs/spark-hadoop.log | HistoryServer 的运行时日志 |
| Zeppelin | ZeppelinServer | /data/emr/zeppelin/logs/zeppelinhadoop.log | ZeppelinServer 的运行时日志 |
| Knox | Gateway | /data/emr/knox/logs/gateway.log | Gateway 的运行时日志 |
| Kafka | Kafka | /usr/local/service/kafka/logs/server.log | Kafka 的运行时日志 |
服务支持最低日志级别:
| 服务 | 默认采集的最低日志级别 |
|---|---|
| Impala | INFO |
| 其他服务 | WARN |
最低日志级别查询规则:
| 最低日志级别 | 可查询的日志级别 |
|---|---|
| INFO | INFO、WARN、ERROR、FATAL |
| WARN | WARN、ERROR、FATAL |
| ERROR | ERROR、FATAL |
| FATAL | FATAL |


