冷热分离与索引生命周期管理

最近更新时间: 2026-06-30 15:06:00

Elasticsearch 主要用于海量数据的存储和检索，若将所有数据都放在 SSD 硬盘上，成本会非常高。可通过冷热分离来解决这个问题，冷热集群可以在一个集群内包含冷、热两种属性的节点，从而兼顾性能和容量之间的矛盾：

对读写性能要求比较高的热数据（例如7天内的日志）可以在热节点上以 SSD 磁盘存储。
对存储量需求比较大但对读写性能要求较低的索引（例如1个月甚至更长时间的日志）可以在冷节点上以 SATA 磁盘存储。
ES 提供了快速配置构建冷热集群的能力，用户可以在TCloudFinanceZone官网根据业务需要指定冷热节点规格，快速建立一个冷热分离架构的 ES 集群。

创建冷热集群

在购买集群时直接创建

进入Elasticsearch Service 创建集群页面，在页面填写所需创建集群的相关信息。
【数据节点部署方式】选择【冷热模式】，并选择冷热节点的规格，
进一步设置集群的其他参数，确认并支付即可。

将现有集群变配为冷热集群

在【集群列表】页面，单击右上角的【更多操作】，在下拉菜单中选择【调整配置】，选择【冷热模式】，根据需要设置冷热节点的规格和相关配置，将现有集群变配为冷热集群。

使用冷热集群

节点角色查看

验证节点冷热属性，命令如下：

GET _cat/nodeattrs?v&h=node,attr,value&s=attr:desc

node        attr        value
node1   temperature     hot
node2   temperature     hot
node3   temperature     warm
node4   temperature     hot
node5   temperature     warm
...

指定索引冷热属性

业务方可以根据实际情况决定索引的冷热属性。

对于热数据，设置索引如下：

PUT hot_data_index/_settings
{
  "index.routing.allocation.require.temperature": "hot"
}

对于冷数据，设置索引如下：

PUT hot_data_index/_settings
{
  "index.routing.allocation.require.temperature": "warm"
}

验证设置的索引

创建索引。

PUT hot_warm_test_index
{
      "settings": {
         "number_of_replicas": 1,
         "number_of_shards": 3
      }
}

查看分片分配，可以看到分片均匀分配在五个节点上。

GET _cat/shards/hot_warm_test_index?v&h=index,shard,prirep,node&s=node
index          shard prirep node
hot_data_index 1     p      node1
hot_data_index 0     r      node1
hot_data_index 2     r      node2
hot_data_index 2     p      node3
hot_data_index 1     r      node4
hot_data_index 0     p      node5

设置索引。

设置索引为热索引。

PUT hot_warm_test_index/_settings
{
        "index.routing.allocation.require.temperature": "hot"
}

查看分片分配，分片均分配在热节点上。

GET _cat/shards/hot_warm_test_index? v&h=index,shard,prirep,node&s=node
index          shard prirep node
hot_data_index 1     p      node1
hot_data_index 0     r      node1
hot_data_index 0     p      node2
hot_data_index 2     r      node2
hot_data_index 2     p      node4
hot_data_index 1     r      node4

设置索引为冷索引。

PUT hot_warm_test_index/_settings
{
        "index.routing.allocation.require.temperature": "warm"
}

查看分片分配，分片均分配到冷节点上。

GET _cat/shards/hot_warm_test_index?v&h=index,shard,prirep,node&s=node
index          shard prirep node
hot_data_index 1     p      node3
hot_data_index 0     r      node3
hot_data_index 2     r      node3
hot_data_index 0     p      node5
hot_data_index 2     p      node5
hot_data_index 1     r      node5

索引生命周期管理

目前已提供6.8.2版本的集群，该版本 Elasticsearch(>=6.6) 提供了索引生命周期管理功能。索引生命周期管理可以通过 API 或者 kibana 界面配置，详情可参考 index-lifecycle-management。下文将通过 kibana 界面来演示，如何使用索引生命周期管理，结合冷热分离架构，实现索引数据的动态管理。

kibana 中的索引生命周期管理位置（版本6.8.2）：

单击【Create policy】进入配置界面。索引的生命周期为Hot phase、Warm phase、Cold phase、Delete phase四个阶段。

Hot phase：此阶段可以根据索引的文档数、大小、时长决定是否调用 rollover API 来滚动索引，详情可参考 indices-rollover-index。因与本文关系不大，这里不再赘述。
Warm phase：当一个索引在Hot phase被 rollover 后便会进入Warm phase ，进入该阶段的索引会被设置为 read-only。用户可为此索引设置要使用的 attribute，例如对于冷热分离策略，这里可选择temperature: warm属性。另外还可以对索引进行 forceMerge、shrink 等操作，这两个操作具体可以参考 shrink API 和 force merge 官方文档。
Cold phase：可以设置当索引 rollover 一段时间后进入 cold 阶段，这个阶段也可以设置一个属性。从冷热分离架构可以看出冷热属性是具备扩展性的，不仅可以指定 hot、warm，也可以扩展增加 hot、warm、cold、freeze 等多个冷热属性。如果想使用三层的冷热分离，可指定为temperature: cold。同时还支持对索引的 freeze 操作，详情参考 freeze API 官方文档。
Delete phase：可以设置索引 rollover 一段时间后进入 delete 阶段，进入该阶段的索引会自动被删除。