日志服务(Cloud Log Service)提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受从日志采集、日志存储到日志内容搜索等全方位稳定可靠的日志服务。帮助您轻松解决业务问题定位,指标监控、安全审计等日志问题,大大降低日志运维门槛。
功能概览
日志采集
日志服务目前支持 LogListener 、API、Kafka 协议、对象存储导入等多种采集方式:
- LogListener 实时采集:使用 LogListener 采集日志,便捷安装,服务稳定可靠安全、支持大部分主流 Linux 操作系统,兼顾高性能与低资源占用。
- 通过 API:无需安装 LogListener,直接调用 API 上传日志,支持多种语言。
- Kafka 协议:支持使用 Kafka Producer SDK 上传日志到 CLS。
- COS 导入:将对象存储中的数据导入到日志服务。
日志存储
根据用户对日志不同的检索时延性及日志处理能力需求,提供两种存储:
- 实时存储:适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
- 低频存储:适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求。长期存储下,整体使用成本相比实时存储降低80%。
日志检索分析
针对存储在 CLS 的日志进行实时检索分析,帮助用户快速定位异常日志、统计系统及业务指标。
- 日志检索:使用关键词按全文或字段检索日志。
- 统计分析:使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示,兼容 SQL 92标准,支持200+ SQL 函数。例如按省份统计业务请求数,按时间查询请求错误率变化趋势。
- 性能优异:秒级返回查询结果,支持亿级别日志检索分析。
仪表盘
仪表盘提供数据分析全局视图,您可以在仪表盘查看多个基于查询与分析结果的统计图表。
- 仪表盘:仪表盘支持保存多个基于查询与分析结果的统计图表,构成场景化的分析大盘。
- 预置仪表盘:面向 CLB、TKE、COS 等产品,CLS 提供预置仪表盘,实现常见监控能力的开箱即用。
- 模板变量:模板变量支持数据源变量与快速过滤,实现仪表盘图表统计分析对象与维度的快速切换,千变万化支持更复杂的业务场景。
告警
日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警,主动发现系统及业务异常问题。
- 通知渠道:支持电话、短信、邮件、企业微信和自定义接口回调。
- 多维分析:触发告警时可针对原始日志进行额外的检索分析,将结果附加在告警通知中,辅助定位告警原因。
日志数据处理
- 日志过滤清洗:按条件过滤日志。
- 日志结构化:将非结构化的日志处理成结构化数据,方便您后续使用 SQL 来计算分析日志。
日志投递与消费
您可以将日志投递至云产品中,如对象存储 COS、消息中间件 CKafka,也可以将 CLS 日志消费到其它大数据组件。
- 日志投递至 COS:用于日志归档、日志的离线计算。
- 日志投递至 CKafka:适用于日志的实时处理和计算。
- 日志实时消费:消费日志数据到大数据组件,例如 Flink、Logstash、Flume。