投递与消费概述

最近更新时间: 2026-03-13 09:03:00

日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到 COS、Ckafka,以满足归档或者计算的需求。
投递和消费都会产生读流量。
下图是 CLS 日志在大数据中的常见链路:

  • 日志归档场景,您可以将日志投递到 COS,默认是 COS 的标准存储。
  • 日志数据的离线计算场景。您将日志投递到 COS 之后,可以使用 Hive 进行批处理。您也可以使用 CLS 的定时 SQL 分析 对日志数据进行计算分析(结构化日志,开启键值索引),并将计算结果保存到您指定的日志主题中。
  • 日志数据的实时计算场景。您可以将日志投递到 Ckafka,下游使用大数据流处理。您也可以使用 kafka 协议消费,将 CLS 日志主题当做一个 kafka Topic 进行消费。这样可以无需 Kafka 实例,投递和消费的读流量基本相同。

功能特性

产品功能 说明
投递到 COS CSV
可用于日志数据批处理。
可以利用 CSV 投递实现投递日志原文(单行,多行,分隔符采集的日志)。
JSON
日志数据计算。
Parquet
日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive 。
投递到 CKafka 投递数据格式:原文、JSON
使用场景:日志流处理
Kafka 协议消费 投递数据格式:原文、JSON
使用场景:日志流处理

注意

  • 请提前准备 COS/Ckafka。
  • 若需要在投递前对日志进行清洗加工过滤,可参见使用数据加工操作。

产品优势

  • 操作简单,在控制台完成配置即可将日志数据投递到 COS 和 Ckafka。
  • 数据投递监控。您可以查看投递日志的流量、条数、投递任务时延的监控图表。

规格与限制

您可参见 规格与限制 > 投递与消费