基本概念
检索分析提供对日志数据进行过滤、搜索和统计分析的功能,例如查询包含error的日志、按 URL 分组统计日志条数、计算 PV 变化趋势等,是日志服务中最常用的功能。
检索分析基于分词与索引,如果您对这两个概念较为陌生,建议您提前查阅该文档。
功能特性
基础功能
- 全文检索:针对日志全文进行检索,日志内任一字段满足检索条件时即可检索到该日志,例如使用
error检索所有出现过 error 的日志。 - 键值检索:针对日志内指定的字段进行检索,指定字段满足检索条件时即可检索到该日志,例如使用
level:error AND timeCost:>1000检索日志级别(level)为 error 且耗时(timeCost)大于 1000ms 的日志。 - 统计分析:针对符合检索条件的日志进行统计分析,返回统计分析结果,例如使用
status:404 | select count(*) as logCounts统计响应状态码为404的日志数量。
上述功能需使用检索分析语句,使用方法详见 语法规则。
高级功能
- 多主题检索:同时检索多个日志主题,暂不支持统计分析。可跨日志集,但不可跨地域。
- 上下文检索:把目标日志数据在原始文件中的前若干条日志(上文)或后若干条日志(下文)检索查询出来。通过查看指定日志的上下文信息,您可以在业务故障排查中快速查找故障信息,方便定位问题。
- 采样分析:使用统计分析功能时,若原始日志条数非常多或统计分析语句(SQL)较为复杂,统计分析可能出现缓慢甚至超时的情况。此时可使用采样分析功能对原始日志进行随机采样,再进行统计分析。
- 下载日志:将符合检索条件的日志下载至本地,单次可最多下载5000万条日志。
产品优势
- 基于提前构建的索引数据,检索分析性能远高于一般的文本扫描方式的查询(例如 Linux grep 命令、文本编辑器中的查询功能),适用于海量日志数据的实时查询。
- 统计分析支持 SQL,并符合 SQL-92规范,可使用灵活的 SQL 语法及400+ SQL 函数对日志进行统计,满足绝大多数统计分析需求。
规格与限制
检索分析的规格与限制,请参见 规格与限制。