日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到 COS、Ckafka,以满足归档或者计算的需求。
投递和消费都会产生读流量。
下图是 CLS 日志在大数据中的常见链路:
- 日志归档场景,您可以将日志投递到 COS,默认是 COS 的标准存储。
- 日志数据的离线计算场景。您将日志投递到 COS 之后,可以使用 Hive 进行批处理。您也可以使用 CLS 的定时 SQL 分析 对日志数据进行计算分析(结构化日志,开启键值索引),并将计算结果保存到您指定的日志主题中。
- 日志数据的实时计算场景。您可以将日志投递到 Ckafka,下游使用大数据流处理。您也可以使用 kafka 协议消费,将 CLS 日志主题当做一个 kafka Topic 进行消费。这样可以无需 Kafka 实例,投递和消费的读流量基本相同。
功能特性
| 产品功能 | 说明 |
|---|---|
| 投递到 COS | CSV 可用于日志数据批处理。 可以利用 CSV 投递实现投递日志原文(单行,多行,分隔符采集的日志)。 JSON 日志数据计算。 Parquet 日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive 。 |
| 投递到 CKafka | 投递数据格式:原文、JSON 使用场景:日志流处理 |
| Kafka 协议消费 | 投递数据格式:原文、JSON 使用场景:日志流处理 |
注意
- 请提前准备 COS/Ckafka。
- 若需要在投递前对日志进行清洗加工过滤,可参见使用数据加工操作。
产品优势
- 操作简单,在控制台完成配置即可将日志数据投递到 COS 和 Ckafka。
- 数据投递监控。您可以查看投递日志的流量、条数、投递任务时延的监控图表。
规格与限制
您可参见 规格与限制 > 投递与消费。