Elasticsearch 生命周期管理策略问题分析与解决方案

一、问题描述

• 现象：广丰二期测试和生产环境开启后，生命周期管理策略未按预期删除索引（保留策略为180天）
• 后果：计算节点存储使用率过高，影响日志查询速度

二、业务影响

• 索引无法按保留时间自动删除
• ES数据节点存储空间持续被占用
• 日志查询性能下降

三、原因分析

1. 配置缺陷：

   • 当前策略仅配置 hot 和 delete 阶段，未启用温/冷阶段
   • 删除条件需同时满足：
     • 索引大小 > 30GB（触发滚动）
     • 滚动后等待 180 天才进入删除阶段

2. 生命周期流程：

   graph LR
   A[Hot 阶段] -->|触发滚动条件| B[Delete 阶段]
   B -->|180天后| C[删除索引]
   

3. 核心问题：大量索引滞留在 hot 阶段无法滚动删除
   

四、解决方案

方案一：手动管理（不推荐）

1. 操作步骤：
   • 关闭滚动策略
   • 手动预分配索引主分片
   • 生命周期策略直接关联索引模板进行删除
2. 特点：
   • 与一期模式一致
   • 需人工介入维护

方案二：优化生命周期策略（推荐）

1. 配置改进：

   PUT _ilm/policy/timeseries_policy
   {
     "policy": {
       "phases": {
         "hot": {
           "actions": {
             "rollover": {
               "max_age": "180d",
               "max_size": "30gb"
             }
           }
         },
         "delete": {
           "min_age": "180d",
           "actions": {
             "delete": {}
           }
         }
       }
     }
   }
   

2. 关键参数：

   • index.lifecycle.parse_origination_date: true（从索引名解析起始日期）
   • 热阶段双条件触发：max_age（180天）或 max_size（30GB）
   • 删除阶段延迟：180天（从索引创建时间计算）

3. 数据流清理方案：

   • 人工删除：

     DELETE /<data_stream_name>
     

   • 自动化脚本：

     # 示例：删除180天前的日期格式索引
     curl -X DELETE "localhost:9200/*_$(date -d '180 days ago' +%Y.%m.%d)"
     

五、实施建议

1. 优先采用方案二优化策略配置
2. 定期监控索引生命周期状态
3. 建立自动化清理机制（如CronJob）
4. 测试环境验证后再推行至生产

注：原方案中的图片占位符已移除，实际使用时可补充架构图/流程图。