ES Cleanup

cleanupES.sh

cd /usr/local/elasticsearch/data/elasticsearch_procura_access/nodes/0/indices

# Remove indices estranhos gerados por requisicoes que nao sao do logstash
# Isso acontece, por exemplo, com sistema de deteccao de vulnerabilidade que a infra roda
echo "Removendo indices estranhos..."
for i in `ls | grep -v ^logstash | grep -v ^ck | grep -v kibana`; do echo -n "Removendo indice" $i ": "; GET -m DELETE http://127.0.0.1:9200/$i; echo ""; done

# Remove indices antigos caso o disco esteja cheio
echo "Removendo indices devido a falta de espaco em disco..."
while [ "`du -sb | cut -f 1`" -gt "50000000000" ]; do idx=`ls -tar | grep -E "(logstash|marvel|ck)" | grep -v kibana | head -1`; echo -n "Removendo indice" $idx ": "; GET -m DELETE http://127.0.0.1:9200/$idx; echo ""; sleep 1; done

# Remove indices antigos caso existam muitos indices
# Isso eh necessario pois o ES comeca a ficar maluco quando precisa lidar com centenas de indices
echo "Removendo indices devido a quantidade elevada de indices..."
while [ "`ls -tar | grep -E "(logstash|marvel|ck)" | grep -v kibana | wc -l`" -gt "100" ]; do idx=`ls -tar | grep -E "(logstash|marvel|ck)" | grep -v kibana | head -1`; echo -n "Removendo indice" $idx ": "; GET -m DELETE http://127.0.0.1:9200/$idx; echo ""; done

# Remove indices que foram criados com bug
# Isso ou eh bug do ES ou do logstash
echo "Removendo indices bugados..."
for i in `ls -a | grep -E "\-00[0-9][0-9]+\."`; do echo -n "Removendo indice" $i ": "; GET -m DELETE http://127.0.0.1:9200/$i; echo ""; done

# Desliga o bloom / fecha indices antigos
# Isso economiza recursos pois raramente usamos indices muito antigos nas consultas
echo "Desligando bloom de filtros antigos..."
for i in `find . -maxdepth 1 -type d -mmin +120 | grep -E -o "(ck|logstash)-[0-9.]+"`; do echo -n "Desligando bloom de " $i ": "; curl -X PUT http://127.0.0.1:9200/$i/_settings?index.codec.bloom.load=false; echo ""; done

# Remove logs antigos
find /var/log/ -mmin +59 -name "*.txt" | xargs rm -rf
find /var/log/httpd/2*/ -ctime +0 -name "*_log" | xargs rm -rf