概述
LogListener 服务日志功能支持记录 LogListener 端运行状态和采集监控的日志数据,提供重要指标数据,便于用户观测了解 LogListener 的运行状态和日志采集统计情况。
默认配置
| 默认配置项 | 配置内容 |
|---|---|
| 日志主题 | 当在某一地域下首次为机器组开启 LogListener 服务日志时,会在该地域自动为您创建一个 cls_service_logging 日志集,并将当前以及未来该地域下所有开启 LogListener 服务日志的机器组所产生的 LogListener 服务日志保存到以下3个日志主题中: - loglistener_status:对应 LogListener 的心跳状态日志。 - loglistener_alarm:对应 LogListener 的采集指标/错误类型监控日志。 - loglistener_business :对应 LogListener 的采集操作日志,每条日志对应一次请求。 |
| 日志存储时间 | 默认保存7天,不支持修改存储时间。 |
| 索引 | 默认为采集到的所有日志数据开启键值索引。不支持修改索引配置。 |
说明
- LogListener 服务日志专属用于 LogListener 采集监控产生的日志,不支持写入其他数据。
- cls_service_logging 为统一的 LogListener 服务日志的日志集。
应用场景
查看 LogListener 状态
开通 LogListener 服务日志功能后,您可以查看 LogListener 运行状态和采集统计情况。
采集端监控配置
开通 Loglistener 服务日志功能后,您可以按指标/错误类型,配置采集端监控指标,例如:- 根据 MEM、CPU、采集速度、采集延时等指标进行监控。
- 根据 LogListener 解析错误次数的维度进行监控。
文件级监控
开通 Loglistener 服务日志功能后,您可以查看文件及目录的监控日志,例如:- 某个 IP 上所有文件的采集统计文件。
- 某个 IP 上某个路径下的采集日志量情况,如 app1 应用日志位于/var/log/app1/,统计这个路径下的日志采集情况。
- 某个 topic 的采集统计情况。
前提条件
机器组仅在 LogListener 2.8.8 及以上版本支持采集监控服务日志,您可前往升级至最新版本。
操作步骤
开通服务日志
- 登录日志服务控制台。
- 在左侧导航栏中单击机器组管理,进入机器组列表页。
- 在机器组列表页,选择目标机器组,单击
,即可开启 LogListener 服务日志。
关闭服务日志
- 登录日志服务控制台。
- 在左侧导航栏中单击机器组管理,进入机器组列表页。
- 在机器组列表页,选择目标机器组,单击
,即可关闭 LogListener 服务日志。 说明
关闭服务日志功能后,日志集 cls_service_logging 中保存的日志数据不会自动删除,如果您需要删除这部分日志数据,可以手动删除保存服务日志的日志集。
日志字段描述
LogListener 状态日志(Loglistener_status)
日志主题 Loglistener_status 的字段具体说明如下:
| 字段 | 描述 |
|---|---|
| InstanceId | LogListener 唯一标识值 |
| IP | 机器组 IP |
| Label | 机器标识数组 |
| Version | 版本号 |
| MemoryUsed | 组件内存使用情况 |
| MemMax | Agent 在该机器上设置的内存使用阈值 |
| CpuUsage | 组件 CPU 使用率 |
| Status | LogListener 运行状态 |
| TotalSendLogSize | 发送日志量大小 |
| SendSuccessLogSize | 发送成功日志量大小 |
| SendFailureLogSize | 发送失败日志量大小 |
| SendTimeoutLogSize | 发送超时日志量大小 |
| TotalParseLogCount | 解析总日志条数 |
| ParseFailureLogCount | 解析失败日志条数 |
| TotalSendLogCount | 总发送日志条数 |
| SendSuccessLogCount | 发送成功日志条数 |
| SendFailureLogCount | 发送失败日志条数 |
| SendTimeoutLogCount | 发送超时日志条数 |
| TotalSendReqs | 总发送请求数 |
| SendSuccessReqs | 发送成功请求数 |
| SendFailureReqs | 发送失败请求数 |
| SendTimeoutReqs | 发送超时请求数 |
| TotalFinishRsps | 收到的全部 .rsp 文件 |
| TotalSuccessFromStart | LogListener 启动到现在总的成功数 |
| AvgReqSize | 平均请求包大小 |
| SendAvgCost | 平均发送耗时 |
| AvailConnNum | 可用连接数 |
| QueueSize | 排队请求大小 |
LogListener 告警日志(Loglistener_alarm)
日志主题 Loglistener_alarm 的字段具体说明如下:
| 字段 | 描述 |
|---|---|
| InstanceId | LogListener 唯一标识值 |
| Label | 机器标识数组 |
| IP | 机器组 IP |
| Version | LogListener 版本 |
| AlarmType.count | 告警类型统计 |
| AlarmType.example | 告警类型样例 |
AlarmType :
| Alarm Type | type ID | 描述 |
|---|---|---|
| UnknownError | 0 | 初始化 alarm 类型 |
| UnknownError | 1 | 解析失败 |
| CredInvalid | 2 | 认证失败 |
| SendFailure | 3 | 发送失败 |
| RunException | 4 | LogListener 运行异常 |
| MemLimited | 5 | 触发 Memory Limited 限制 |
| FileProcException | 6 | 文件处理异常 |
| FilePosGetError | 7 | 获取 file pos 失败 |
| HostIpException | 8 | Host IP 线程异常 |
| StatException | 9 | 获取进程相关信息异常 |
| UpdateException | 10 | cls update 功能异常 |
| DoSendError | 11 | dosend 失败 |
| FileAddError | 12 | 文件新增失败 |
| FileMetaError | 13 | 元数据文件新增失败 |
| FileOpenError | 14 | Open File 失败 |
| FileReadError | 15 | Read File 失败 |
| FileStatError | 16 | Stat File 失败 |
| GetTimeError | 17 | getTimeFromLogContent 失败 |
| HandleEventError | 18 | Handle File Event 异常 |
| HandleFileCreateError | 19 | handleFileCreateEvent() 异常 |
| LineParseError | 20 | Log Item 解析失败 |
| Lz4CompressError | 21 | 压缩失败 |
| ReadEventException | 22 | readEvent 失败 |
| ReadFileBugOn | 23 | 触发 bugon |
| ReadFileException | 24 | procReadyFile() 异常 |
| ReadFileInodeChange | 25 | File Inode 发生变化 |
| ReadFileTruncate | 26 | ReadFile 截断 |
| WildCardPathException | 27 | addWildcardPathInotify() 异常 |
LogListener 采集日志(Loglistener_business)
日志主题 Loglistener_business 的字段具体说明如下:
| 字段 | 描述 |
|---|---|
| InstanceId | LogListener 唯一标识值 |
| Label | 机器标识数组 |
| IP | 机器组 IP |
| Version | LogListener 版本 |
| TopicId | 文件采集到的目标 topic |
| FileName | 文件路径名 |
| RealPath | 文件实际路径 |
| FileInode | 文件 inode |
| FileSize | 文件大小 |
| LastReadTime | 上次读取文件时间 |
| ParseFailLines | 时间窗口,解析失败日志条数 |
| ParseFailSize | 时间窗口,解析失败日志大小 |
| ParseSuccessLines | 时间窗口,解析成功日志条数 |
| ParseSuccessSize | 时间窗口,解析成功日志大小 |
| ReadOffset | 读取文件的偏移量,单位字节 |
| TruncateSize | 时间窗口内,truncate 的文件大小 |
| ReadAvgDelay | 时间窗口内,读取平均时延 |
| TimeFormatFailuresLines | 时间窗口内,时间戳匹配错误次数 |
| SendSuccessSize | 时间窗口内,发送成功日志大小 |
| SendSuccessCount | 时间窗口内,发送成功日志条数 |
| SendFailureSize | 时间窗口内,发送失败日志大小 |
| SendFailureCount | 时间窗口内,发送失败日志条数 |
| SendTimeoutSize | 时间窗口内,发送超时日志大小 |
| SendTimeoutCount | 时间窗口内,发送超时日志条数 |
| DroppedLogSize | 时间窗口内,丢掉日志大小 |
| DroppedLogCount | 时间窗口内,丢掉日志条数 |
| ProcessBlock | 标记一个统计周期内,当前文件是否触发过采集阻塞(一个文件的滑动窗口10分钟未移动过,即为触发) |
,即可开启 LogListener 服务日志。
,即可关闭 LogListener 服务日志。