分隔符格式投递
最近更新时间: 2024-06-12 15:06:00
概述
您可以通过日志服务控制台，将数据按照分隔符格式投递到对象存储，下面将为您详细介绍如何创建分隔符格式日志投递任务。
前提条件
开通日志服务，创建日志集与日志主题，并成功采集到日志数据。
开通对象存储服务，并且在待投递日志主题的地域已创建存储桶，详细配置请参见 创建存储桶 文档。
确保当前操作账号拥有配置投递的权限，子账号/协作者投递权限问题请参见 子账号配置投递 文档。
操作步骤
在左侧导航栏中，单击【日志主题】。
单击需要投递的日志主题ID/名称，进入日志主题管理页面。
单击【投递至对象存储】页签，进入投递至对象存储配置页面。
单击【添加投递配置】，依次填写配置信息。
配置项说明如下：
配置项 解释说明 规则 是否必填 投递任务名称 配置投递任务的名称。 字母、数字、_和- 必填 对象存储的存储桶 与当前日志主题同地域的存储桶作为投递目标存储桶 。 列表选择 必填 目录前缀 日志服务支持自定义目录前缀，日志文件会投递至对象存储 Bucket 的该目录下。目前默认是直接放在存储桶下，文件路径为 {COS 存储桶}{目录前缀}{分区格式}_{random}_{index}.{type}，其中{random}_{index}是一个随机数。非 /开头可选 分区格式 将投递任务创建时间按照 strftime 的语法自动生成目录 ，其中斜线 /表示一级 COS 目录。strftime 格式 必填 投递文件大小 指定在该投递时间间隔中未压缩的投递文件上限，意味着在该时间间隔中，日志文件最大将为您设置的值，超过该上限，将被分成多个日志文件，上限支持5MB - 128MB。 5 - 128，单位：MB 必填 投递间隔时间 指定投递的时间间隔，支持300s - 900s。假设您设置投递时间间隔为5分钟，那么意味着您的日志数据将每5分钟产生一个日志文件，每隔一段时间（半小时内），多个日志文件会一起投递至您的存储桶。 300 - 900，单位：s 必填
上表中的分区格式请按照 strftime 格式 要求填写，不同的分区格式会影响投递到对象存储的文件路径。 以下举例说明分区格式的用法，例如投递至 bucket_test 存储桶，目录前缀为logset/，投递时间 2018/7/31 17:14，则对应的投递文件路径如下：
| 存储桶名称 | 目录前缀 | 分区格式 | COS 文件路径 |
|---|---|---|---|
| bucket_test | logset/ | %Y/%m/%d | bucket_test:logset/2018/7/31_{random}_{index} |
| bucket_test | logset/ | %Y%m%d/%H | bucket_test:logset/20180731/14_{random}_{index} |
| bucket_test | logset/ | %Y%m%d/log | bucket_test:logset/20180731/log_{random}_{index} |
单击【下一步】，进入高级配置，选择投递格式为 CSV，依次填写相关配置参数。
配置项说明如下：
配置项 解释说明 规则 是否必填 键值名称（key） 指定写入 CSV 文件的键值（key）字段（填写的 key 必须是日志结构化后的 key 名称或保留字段，否则将视为无效 key）。 字母、数字、_和- 必填 分隔符 CSV 文件中各字段间的分隔符。 列表选择 必填 转义符 若正常字段内出现了分隔符的字符，需用转义符包裹该字符，防止读取数据时被错误识别。 列表选择 必填 无效字段 若配置的键值字段（key）不存在时，则会用无效字段进行填充 。 列表选择 必填 首行 Key 在 CSV 文件的首行增加字段名的描述，即将键值（key）写入 CSV 文件的首行，默认不写入。 开/关 必填 压缩投递 是否对日志文件进行压缩后投递，在投递时的未压缩文件大小上限为10GB 。目前支持的压缩方式有 gzip、lzop 和 snappy。 开/关 必填