五分钟入门指南

概述

日志服务是集日志采集、日志存储、日志检索于一体的平台化服务。通过日志服务，可以将分散的日志汇聚起来进行集中式存储管理，并进行检索

为了帮助用户快速入门日志服务，本文将演示使用日志服务的基本功能，演示包括：

• 如何使用 LogListener 采集日志

• 如何检索日志

操作步骤

1. 服务开通

首先，您需要申请开通日志服务。

2. 下载安装 LogListener

LogListener 是日志服务的采集客户端，通过 LogListener 可实现快速无侵入式的把日志数据采集到日志服务中来，具体安装步骤如下。

说明：

• 云服务器(CVM)安装LogListener前，必须检查目标CVM上LogListener进程是否存在，执行命令: ps aux|grep loglistener|grep -v grep 。若进程不存在，则可以继续安装LogListener。
• 若进程已存在，则不允许重复安装LogListener，需排查该CVM节点的安装历史。若该CVM节点属于某云产品的服务节点，可参照该云产品的产品文档，在租户端页面使用日志相关功能。

2.1 判断网络是否可达

安装 LogListener 要求日志源机器的网络与日志服务的可用地域网络互通（云服务器 CVM 默认内网访问日志服务）。您可以执行以下命令检查网络连通性。

telnet <CLS-server host> <CLS-server port>

2.2 查看（或创建）密钥对

登录访问管理，查看（或创建）密钥对，并确认密钥状态为启用。

2.3 安装 LogListener

本文演示日志采集的环境搭建在云服务器 CentOS 7.2（64位）环境上。LogListener 下载及详细安装步骤请参见 LogListener安装指南。

3. 创建日志集和日志主题

日志服务区分地域，为了降低网络延迟，尽可能选择与服务邻近的服务地域创建日志资源。日志资源管理主要分为日志集和日志主题，一个日志集表示一个项目，一个日志主题表示一类服务，单个日志集可以包含多个日志主题。

在左侧导航栏中单击【日志主题】，进入到日志主题管理页面。单击【创建日志主题】，开始创建日志主题，例如创建一个名为 test 的日志主题，创建好的日志主题将会出现在日志主题列表中。

4. 创建机器组

日志服务使用 机器组 来统一管理一组日志源机器。 登录日志服务控制台后，在左侧导航栏单击【机器组】，进入到机器组管理页面。在页面顶部选择合适的地域，单击【新建机器组】开始创建，一个机器组可以填入多个机器 IP 地址（每行一个 IP 地址），若是腾讯云服务器 CVM，直接填写内网 IP 地址即可，更多信息请参考 机器组管理。

创建好机器组后，单击机器组列表中的【查看】，检查 LogListener 与服务端的连接状态，若状态正常，则表示客户端 LogListener 已成功连接到日志服务。

5. 配置 LogListener

登录日志服务控制台后，在左侧导航栏单击【日志主题】，进入日志主题页面。单击日志主题ID，进入到对应的日志主题基本信息页面，单击【采集配置】页签，为该日志主题指定采集路径、解析模式、绑定机器组。

5.1 配置采集路径

采集路径需要匹配机器上日志文件的绝对路径，填写参数有两个：目录前缀和日志文件名，填写格式为 [目录前缀表达式]/**/[文件名表达式] ，LogListener 会按照 [目录前缀表达式] 匹配所有符合规则的公共前缀路径，并监听这些目录（包含子层目录）下所有符合 [文件名表达式] 规则的日志文件，参数详细说明如下：

例如待采集文件的绝对路径是/cls/logs/access.log，则采集路径填写的目录前缀是/cls/logs，日志文件名填写access.log，如下图所示：

5.2 绑定机器组

选择预先创建好的机器组，将当前日志主题与机器组关联起来后，LogListener 将按照所配置的规则监听采集机器组上的日志文件（一个日志主题可以绑定多个机器组，但一个日志文件只能上报到一个日志主题）。

5.3 配置解析模式

日志服务提供多种日志解析模式（例如单行全文、分隔符、JSON、完全正则等模式），本文以分隔符格式日志为例进行说明（详情参考 分隔符格式），日志样例如下：

Tue Jan 22 14:49:45 2019;download;success;194;a31f28ad59434528660c9076517dc23b

• 选择提取模式

  本文以分隔符格式日志举例，所以在“键值提取模式”配置项中选择分隔符，并且选择分号作为日志分隔符。

• 输入日志样例并抽取键值对

  在日志样例框中输入一条完整的日志，确认后将自动抽取键值对（key-value），然后为每组键值对定义唯一的键名称（key）。

  在本示例中，日志被解析成Tue Jan 22 14:49:45 2019，download，success，194 和a31f28ad59434528660c9076517dc23b 五个字段，依次为每个字段定义键名称（key）：time，action，status，size，hashcode，这样 LogListener 将按照所定义的结构化格式进行数据采集。

  

6. 检索日志

6.1 配置索引

日志服务的检索分析功能主要基于分词索引，目前提供两种索引类型：全文索引和键值索引，在日志主题的索引配置页进行索引管理（可以同时开启两种索引）。

本章节以键值索引为例说明配置方法，在日志集管理页面，单击【索引配置】进入到索引管理页面，选择编辑键值索引，然后将需要进行检索分析的字段（键名key）配置到键值索引中，并每个字段的键值索引指定数据类型，目前支持long、double、text等数据类型，其中text类型可以指定分词符（分词符将字符串切分成多个分词）。在上述例子中，为time，action，status，size，hashcode设置键值索引，其中size设置为long类型。

开启索引后，新写入的数据将会按照所配置规则建立索引，索引会持久化存储一段时间（根据您所配置的存储周期而定），只有建立索引的部分才能进行日志查询分析。所以，修改索引规则或关闭索引仅对新写入的数据生效，未过期的历史数据仍可被检索。

6.2 检索日志

登录日志服务控制台后，在左侧导航栏单击【检索分析】，进入到日志检索页。 选择检索的时间范围和日志主题，然后在输入框填写检索语法（语法支持关键词检索、模糊检索、范围检索等方式，详情参考 语法规则），最后单击【搜索】，即可检索日志。

• 示例一：查询失败的日志

  检索语句：status:fail

• 示例二：查询下载文件大小超过300K的日志

  检索语句：action:download and size:>300