租户端 存储 日志服务（CLS） 操作指南 组合解析模式

组合解析模式

最近更新时间: 2026-03-13 09:03:00

操作场景

当您的日志结构太过复杂，涉及多种解析模式，单种解析模式（如 Nginx 模式、完整正则模式、JSON 模式等）无法满足日志解析需求时，您可以使用 Loglistener 组合解析格式解析日志，此模式支持用户在控制台输入代码（json 格式）用来定义日志解析的流水线逻辑。您可添加一个或多个 Loglistener 插件处理配置，Loglistener 会根据处理配置顺序逐一执行。本文为您介绍如何使用组合解析提取模式采集日志。

前提条件

  • 目标文件所在 服务器 或 自建 K8s 已安装 LogListener。
  • LogListener 版本为2.6.4以上

效果预览

假设您的一条日志的原始数据为：

157139445,http://127.0.0.1/my/course/4|10.135.46.111|200,status:DEAD,

自定义插件内容如下：

{
 "processors": [
   {
     "type": "processor_split_delimiter", 
     "detail": {
       "Delimiter": ",",
       "ExtractKeys": [ "time", "msg1","msg2"]
     },
     "processors": [
       {
         "type": "processor_timeformat",
         "detail": {
           "KeepSource": true,
           "TimeFormat": "%s",
           "SourceKey": "time"
          }
       },
       {
         "type": "processor_split_delimiter",
         "detail": {
           "KeepSource": false,
           "Delimiter": "|",
           "SourceKey": "msg1",
           "ExtractKeys": [ "submsg1","submsg2","submsg3"]
          }
       },
       {
         "type": "processor_split_key_value",
         "detail": {
           "KeepSource": false,
           "Delimiter": ":",
           "SourceKey": "msg2"
         }
       }
     ]
   }
 ]
}

经过日志服务结构化处理后，该条日志将变为如下：

time: 1571394459
submsg1: http://127.0.0.1/my/course/4
submsg2: 10.135.46.111
submsg3: 200
status: DEAD

配置说明

自定义插件种类

插件功能 插件名称 功能
提取字段 processor_log_string 使用 processor_log_string 插件对字段进行多字符解析（换行符），一般用于单行日志的高级功能
提取字段 processor_multiline 使用 processor_multiline 插件（正则模式）对字段进行首行正则解析，一般用于多行日志的高级功能
提取字段 processor_multiline_fullregex 使用 processor_multiline_fullregex 插件（正则模式）对字段进行首行正则解析，一般用于多行日志的高级功能；并对多行日志进行正则提取
提取字段 processor_fullregex 使用 processor_fullregex 插件（正则模式）提取字段（单行日志）
提取字段 processor_json 使用 processor_json 插件对字段值进行 JSON 展开
提取字段 processor_split_delimiter 使用 processor_split_delimiter 插件（单字符/多字符分隔符模式）提取字段
提取字段 processor_split_key_value 使用 processor_split_key_value 插件（键值对模式）提取字段
处理字段 processor_drop 使用 processor_drop 插件丢弃字段
处理字段 processor_timeformat 使用 processor_timeformat 插件，解析原始日志中的时间字段，用于转换时间格式，并可将解析结果设置为日志时间

自定义插件详细参数

插件名称 是否支持子项解析 插件参数 是否必须 功能
processor_multiline 否 BeginRegex 是 定义多行日志的行首匹配正则
processor_multiline_fullregex 是 BeginRegex 是 定义多行日志的行首匹配正则
processor_multiline_fullregex 是 ExtractRegex 是 定义提取到多行日志后的提取正则
processor_multiline_fullregex 是 ExtractKeys 是 定义提取键值
processor_fullregex 是 ExtractRegex 是 定义提取正则
processor_fullregex 是 ExtractKeys 是 定义提取键值
processor_json 是 SourceKey 否 当前 processor 处理的上一级 processor 中的 key name
processor_json 是 KeepSource 否 最终键值名称中，是否保留 SourceKey
processor_split_delimiter 是 SourceKey 否 当前 processor 处理的上一级 processor 中的 key name
processor_split_delimiter 是 KeepSource 否 最终键值名称中，是否保留 SourceKey
processor_split_delimiter 是 Delimiter 是 指定分隔符（单/多字符）
processor_split_delimiter 是 ExtractKeys 是 定义分隔符分割之后的提取键值
processor_split_key_value 否 SourceKey 否 当前 processor 处理的上一级 processor 中的 key name
processor_split_key_value 否 KeepSource 否 最终键值名称中，是否保留 SourceKey
processor_split_key_value 否 Delimiter 是 定义字符串中 Key 与 Value 之间的分隔符
processor_drop 否 SourceKey 是 当前 processor 处理的上一级 processor 中的 key name
processor_timeformat 否 SourceKey 是 当前 processor 处理的上一级 processor 中的 key name
processor_timeformat 否 TimeFormat 是 定义对 SourceKey 的值（日志中的时间数据字符串）的时间解析格式

操作步骤

步骤1：登录控制台

  1. 登录日志服务控制台。
  2. 在左侧导航栏中，单击日志主题，进入日志主题管理页面。

步骤2：创建日志主题

  1. 单击创建日志主题。
  2. 在弹出的对话框中，输入相关信息，单击确定。

步骤3：机器组管理

  1. 日志主题创建成功后，进入该日志主题管理页面。
  2. 选择采集配置页签，在 LogListener 采集配置中单击新增，并在服务器及应用栏中选择任意数据源。
  3. 在机器组管理页面，勾选需要与当前日志主题进行绑定的机器组，单击下一步。

步骤4：采集配置

配置日志文件采集路径

在“采集配置”页面，根据日志采集路径格式，填写“采集路径”。如下图所示：
日志采集路径格式：[目录前缀表达式]/**/[文件名表达式]。

填写日志采集路径后，LogListener 会按照**[目录前缀表达式]匹配所有符合规则的公共前缀路径，并监听这些目录（包含子层目录）下所有符合[文件名表达式]**规则的日志文件。其参数详细说明如下：

字段 说明
目录前缀 日志文件前缀目录结构，仅支持通配符*和?，*表示匹配多个任意字符，?表示匹配单个任意字符，不支持填写逗号。
/**/ 表示当前目录以及所有子目录。
文件名 日志文件名，仅支持通配符*和?，*表示匹配多个任意字符，?表示匹配单个任意字符，不支持填写逗号。

常用的配置模式如下：

  • [公共目录前缀]/**/[公共文件名前缀]*
  • [公共目录前缀]/**/*[公共文件名后缀]
  • [公共目录前缀]/**/[公共文件名前缀]*[公共文件名后缀]
  • [公共目录前缀]/**/*[公共字符串]*

填写示例如下：

序号 目录前缀表达式 文件名表达式 说明
1. /var/log/nginx access.log 此例中，日志路径配置为/var/log/nginx/**/access.log，LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以access.log命名的日志文件
2. /var/log/nginx *.log 此例中，日志路径配置为/var/log/nginx/**/*.log，LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以.log结尾的日志文件
3. /var/log/nginx error* 此例中，日志路径配置为/var/log/nginx/**/error*，LogListener 将会监听/var/log/nginx前缀路径下所有子目录中以error开头命名的日志文件

注意

  • Loglistener 2.3.9及以上版本才可以添加多个采集路径。
  • 建议配置采集路径为 log/*.log，rename 日志轮转后的老文件命名为 log/*.log.xxxx。
  • 默认情况下，一个日志文件只能被一个日志主题采集。如果一个文件需要对应多个采集配置，请给源文件添加一个软链接，并将其加到另一组采集配置中。

配置采集路径黑名单

开启采集路径黑名单，可在采集时忽略指定的目录前缀或完整的文件路径。目录路径和文件路径可以是完全匹配，也支持通配符模式匹配。

采集黑名单分为两类过滤类型，且可以同时使用：

  • 文件路径：采集路径下，需要忽略采集的完整文件路径，支持通配*或?，支持**路径模糊匹配。
  • 目录路径：采集路径下，需要忽略采集的目录前缀，支持通配*或?，支持**路径模糊匹配。

    注意：

    • 需要LogListener-2.3.9及以上版本。
    • 采集黑名单是在采集路径下进行排除，因此无论是文件路径模式，还是目录路径模式，其指定路径要求为采集路径的子集。

配置采集策略

  • 全量采集：Loglistener 采集文件时，从文件的开头开始读。
  • 增量采集：Loglistener 采集文件时，只采集文件内新增的内容。

编码模式

  • UTF-8：若您的日志文件编码模式为 UTF-8， 请选择该选项。
  • GBK：若您的日志文件编码模式为 GBK， 请选择该选项。

配置组合解析模式

在采集配置页面，将“提取模式”设置为组合解析。

高级配置

通过勾选，选择您需要定义的高级配置。
组合解析提取模式下，支持配置以下高级配置。

名称 描述 配置项
超时属性 该配置控制日志文件的超时时间。如果一个日志文件在指定时间内没有任何更新，则为超时。超时的日志文件 LogListener 将不再采集。当您的日志文件数量较大时，建议降低超时时间，避免 LogListener 性能浪费 - 不超时：日志文件永不超时
- 自定义：自定义日志文件的超时时间
最大目录深度 采集路径中的/**/代表查找所有子目录中的文件。但是，在查找过程中，如果不想搜索太深的目录，可以使用"最大目录深度"配置项来限制搜索深度 大于0的整数。 0代表不进行子目录的下钻

使用限制

  • 使用组合解析模式解析数据时，Loglistener 会需要消耗更多的资源，不建议您使用过于复杂的插件组合来处理数据。
  • 使用组合解析模式后，文本模式使用采集功能、过滤器功能将失效，但其中部分功能可通过相关自定义插件实现。
  • 使用组合解析模式后，上传解析失败日志功能默认开启，解析失败的日志均以输入名称为键（Key），原始日志内容作为值（Value）进行上传。

相关操作

检索日志

  1. 登录日志服务控制台。
  2. 在左侧导航栏中，单击检索分析，进入检索分析页面。
  3. 根据实际需求，选择地域、日志集与日志主题，单击检索分析，即可开始按照设定的查询条件检索日志。