JSON 格式投递

最近更新时间: 2024-06-12 15:06:00

概述

您可以通过日志服务控制台,将数据按照 JSON 格式投递到对象存储,下面将为您详细介绍如何创建 JSON 格式日志投递任务。

前提条件

  1. 开通日志服务,创建日志集与日志主题,并成功采集到日志数据。

  2. 开通对象存储服务,并且在待投递日志主题的地域已创建存储桶,详细配置请参见 创建存储桶 文档。

  3. 确保当前操作账号拥有配置投递的权限,子账号/协作者投递权限问题请参见 子账号配置投递 文档。

操作步骤

  1. 登录日志服务控制台。

  2. 在左侧导航栏中,单击【日志主题】。

  3. 单击需要投递的日志主题ID/名称,进入日志主题管理页面。

  4. 单击【投递至对象存储】页签,进入投递至对象存储配置页面,依次填写配置信息。

    配置项说明如下:

    配置项 解释说明 规则 是否必填
    投递任务名称 配置投递任务的名称。 字母、数字、_和- 必填
    对象存储的存储桶 与当前日志主题同地域的存储桶作为投递目标存储桶 。 列表选择 必填
    目录前缀 日志服务支持自定义目录前缀,日志文件会投递至对象存储 Bucket 的该目录下。目前默认是直接放在存储桶下,文件路径为{COS 存储桶}{目录前缀}{分区格式}_{random}_{index}.{type},其中{random}_{index}是一个随机数。 /开头 可选
    分区格式 将投递任务创建时间按照 strftime 的语法自动生成目录 ,其中斜线/表示一级 COS 目录。 strftime 格式 必填
    投递文件大小 指定在该投递时间间隔中未压缩的投递文件上限,意味着在该时间间隔中,日志文件最大将为您设置的值,超过该上限,将被分成多个日志文件,上限支持5MB - 128MB。 5 - 128,单位:MB 必填
    投递间隔时间 指定投递的时间间隔,支持300s - 900s。假设您设置投递时间间隔为5分钟,那么意味着您的日志数据将每5分钟产生一个日志文件,每隔一段时间(半小时内),多个日志文件会一起投递至您的存储桶。 300 - 900,单位:s 必填

上表中的分区格式请按照 strftime 格式 要求填写,不同的分区格式会影响投递到对象存储的文件路径。 以下举例说明分区格式的用法,例如投递至 bucket_test 存储桶,目录前缀为logset/,投递时间 2018/7/31 17:14,则对应的投递文件路径如下:

存储桶名称 目录前缀 分区格式 COS 文件路径
bucket_test logset/ %Y/%m/%d bucket_test:logset/2018/7/31_{random}_{index}
bucket_test logset/ %Y%m%d/%H bucket_test:logset/20180731/14_{random}_{index}
bucket_test logset/ %Y%m%d/log bucket_test:logset/20180731/log_{random}_{index}
  1. 单击【下一步】,进入高级配置,选择投递格式为 json,依次填写相关配置参数。 配置项说明如下:
配置项 解释说明 规则 是否必填
压缩投递 是否对日志文件进行压缩后投递,在投递时的未压缩文件大小上限为10GB 。目前支持的压缩方式有 gzip、lzop 和 snappy。 开/关 必填