hyman-海曼工具

一些简单的记录

0%

定期删除elasticsearch索引记录

发表于 更新于 分类于

需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：nginx-2018.09.01，解决方法通过_cat/indices接口可以获取当前ES全部索引信息，取第三列为索引名。过滤出索引名中带有的日期字符串，然后进行日期比较，早于10天前的日期便可通过日期模糊匹配索引来删除。

shell脚本如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash

###################################
#删除早于20天的ES集群的索引
###################################
function delete_indices() {
    comp_date=`date -d "20 day ago" +"%Y-%m-%d"`
    date1="$1 00:00:00"
    date2="$comp_date 00:00:00"

    t1=`date -d "$date1" +%s` 
    t2=`date -d "$date2" +%s` 

    if [ $t1 -le $t2 ]; then
        echo "$1时间早于$comp_date，进行索引删除"
        #转换一下格式，将类似2018-09-01格式转化为2018.09.01
        format_date=`echo $1| sed 's/-/\./g'`
        curl -XDELETE http://127.0.0.1:9200/*$format_date
    fi
}

curl -XGET http://127.0.0.1:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
do
    #调用索引删除函数
    delete_indices $LINE
done

##将脚本配置到定时任务定期执行即可。

ES删除XX天之前的索引和数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
#!/bin/sh
# ES版本为6.3.x


function delIndex()
{
        #此处输入要删除的索引名字，例如要删除filebeat-xxx索引的日志，此处要输入‘filebeat-’
        index_name=$1
        # 此处输入要数据保留的天数，例如要保留最近60天的数据，此处要输入60
        savedays=$2
        # $3变量也是天数，例如你要保留60天的数据，此处输入90，就是会删除第60到90天这段时间的数据，60<=90
        while [ $savedays -le $3 ]
        do
                # 此处是es内索引的日期格式，有的是2019.11.26，有的是2019-11-26
                format_day='%Y.%m.%d'
                #format_day='%Y-%m-%d'
                
                #此处通过date命令组成索引的时间戳部分，例如2019.11.26或者2019-11-26
                sevendayago=`date -d "-${savedays} day " +${format_day}`
                
                #此处组成完整的es数据的索引，数据格式filebeat-2019.11.26或者filebeat-2019-11-26
                index=$index_name$sevendayago
                #echo $sevendayago
                echo $index
                curl -XDELETE "http://127.0.0.1:9200/${index}"
                #exit 0
                
                #删除完第60天的索引后，开始删除第61天的索引,直到第90天
                savedays=`expr $savedays + 1`
        done
}

# 删除索引前，要关闭索引，然后再删除索引
# 逻辑与上面删除的逻辑一致
function closeIndex()
{
        index_name=$1
        savedays=$2
        while [ $savedays -le $3 ]
        do

                format_day='%Y.%m.%d'
                #format_day='%Y-%m-%d'
                sevendayago=`date -d "-${savedays} day " +${format_day}`
                index=$index_name$sevendayago
                #echo $sevendayago
                echo $index
                curl -XPOST "http://127.0.0.1:9200/${index}/_close?pretty"
                #exit 0
                savedays=`expr $savedays + 1`
        done
}

# 关闭第60天到第90天的索引
closeIndex ‘filebeat-’ 60 90

# 删除第60天到第90天的索引
deleteIndex ‘filebeat-’ 60 90