入门指南

概述

日志服务是集日志采集、日志存储、日志检索于一体的平台化服务。通过日志服务，可以将分散的日志汇聚起来进行集中式存储管理，并进行检索。

为了帮助用户快速入门日志服务，本文将演示使用日志服务的基本功能，演示包括：

• 如何使用 LogListener 采集日志
• 如何检索日志

操作步骤

1. 服务开通

首先，您需要申请开通日志服务。

2. 下载安装 LogListener

LogListener 是日志服务的采集客户端，通过 LogListener 可实现快速无侵入式的把日志数据采集到日志服务中来，具体安装步骤如下。

说明：

• 云服务器(CVM)安装LogListener前，必须检查目标CVM上LogListener进程是否存在，执行命令: ps aux|grep loglistener|grep -v grep 。若进程不存在，则可以继续安装LogListener。
• 若进程已存在，则不允许重复安装LogListener，需排查该CVM节点的安装历史。若该CVM节点属于某云产品的服务节点，可参照该云产品的产品文档，在租户端页面使用日志相关功能。

2.1 判断网络是否可达

安装 LogListener 要求日志源机器的网络与日志服务的可用地域网络互通（云服务器 CVM 默认内网访问日志服务）。您可以执行以下命令检查网络连通性。

telnet <CLS-server host> <CLS-server port>

2.2 查看（或创建）密钥对

登录访问管理，查看（或创建）密钥对，并确认密钥状态为启用。

2.3 安装 LogListener

本文演示日志采集的环境搭建在云服务器 CentOS 7.2（64位）环境上。LogListener 下载及详细安装步骤请参见 LogListener安装指南。

3. 创建日志集和日志主题

日志主题是日志数据采集、存储、检索和分析的基本单元，一个日志主题通常对应某一个应用/服务（具备类似的日志结构）。还可以使用日志集对日志主题进行分组，日志集本身不存储任何日志数据，仅方便用户管理日志主题。

1. 在左侧导航栏中单击日志主题，进入到日志主题管理页面。
2. 单击创建日志主题，填写相关信息后，单击确定。
   创建好的日志主题将会出现在日志主题列表中。
   

4. 创建机器组

日志服务使用机器组来统一管理一组日志源机器。
登录日志服务控制台后，在左侧导航栏单击机器组管理，进入到机器组管理页面。在页面顶部选择合适的地域，单击新建机器组开始创建，一个机器组可以填入多个机器 IP 地址（每行一个 IP 地址），更多信息请参考 机器组管理。

创建好机器组后，单击机器组列表中的查看，检查 LogListener 与服务端的连接状态，若状态正常，则表示客户端 LogListener 已成功连接到日志服务。

5. 配置采集规则和索引配置

1. 在左侧导航栏单击日志主题，进入日志主题页面。

2. 单击日志主题ID，进入到对应的日志主题基本信息页面。

3. 选择采集配置页签，在 LogListener 采集配置中单击新增。
   

4. 在日志数据源页面，选择分隔符-文件日志。

5. 选择预先创建好的机器组，将当前日志主题与机器组关联起来后，LogListener 将按照所配置的规则监听采集机器组上的日志文件。
   一个日志主题可以绑定多个机器组，但一个日志文件只能上报到一个日志主题。

6. 配置采集路径
   采集路径需要匹配机器上日志文件的绝对路径，填写参数有两个：目录前缀和日志文件名，填写格式为 [目录前缀表达式]/**/[文件名表达式]，LogListener 会按照 [目录前缀表达式] 匹配所有符合规则的公共前缀路径，并监听这些目录（包含子层目录）下所有符合 [文件名表达式] 规则的日志文件，参数详细说明如下：

   字段	说明
   目录前缀	日志文件前缀目录结构，仅支持通配符*和? ，*表示匹配多个任意字符，?表示匹配单个任意字符
   /**/	表示当前目录以及所有子目录
   文件名	日志文件名，仅支持通配符*和?，*表示匹配多个任意字符，?表示匹配单个任意字符

   例如待采集文件的绝对路径是/cls/logs/access.log，则采集路径填写的目录前缀是/cls/logs，日志文件名填写access.log，如下图所示：
   

7. 配置解析模式
   日志服务提供多种日志解析模式（例如单行全文、分隔符、JSON、完全正则等模式），本文以分隔符格式日志为例进行说明（详情参考 分隔符格式），日志样例如下：

   Tue Jan 22 14:49:45 2019;download;success;194;a31f28ad59434528660c9076517dc23b
   

   • 选择提取模式
     本文以分隔符格式日志举例，所以在“键值提取模式”配置项中选择分隔符，并且选择分号作为日志分隔符。
   • 输入日志样例并抽取键值对
     在日志样例框中输入一条完整的日志，确认后将自动抽取键值对（key-value），然后为每组键值对定义唯一的键名称（key）。
     在本示例中，日志被解析成Tue Jan 22 14:49:45 2019，download，success，194 和a31f28ad59434528660c9076517dc23b 五个字段，依次为每个字段定义键名称（key）：time，action，status，size，hashcode，这样 LogListener 将按照所定义的结构化格式进行数据采集。
     

8. 填写索引配置，开启全文索引、键值索引，填写相关信息后，单击提交。
   在上述例子中，为time，action，status，size，hashcode设置键值索引，其中size设置为long类型。
   
   开启索引后，新写入的数据将会按照所配置规则建立索引，索引会持久化存储一段时间（根据您所配置的存储周期而定），只有建立索引的部分才能进行日志查询分析。所以，修改索引规则或关闭索引仅对新写入的数据生效，未过期的历史数据仍可被检索。

6. 检索分析日志

1. 在左侧导航栏单击检索分析，进入到日志检索页。
2. 选择检索的时间范围和日志主题，然后在输入框填写检索语法（语法支持关键词检索、模糊检索、范围检索等方式，详情参考 语法规则），最后单击搜索，即可检索日志。
   • 示例一：查询失败的日志
     检索语句：status:fail
   • 示例二：查询下载文件大小超过300K的日志
     检索语句：action:download and size:>300