Impf Extraction

.gitignore

*.pdf

2021-04-16.csv

download.sh

#!/usr/bin/env bash

URL="https://coronaimpfung.nrw/fileadmin/ci_dateien/pdf/Durchgef%C3%BChrte_Impfungen_je_Kreis.pdf"

DATE=$(date +"%Y-%m-%d")

curl -o "${DATE}.pdf" ${URL}

echo "Written ${DATE}.pdf"

post_process.sh

#!/usr/bin/env bash

INPUT="$1"

OUTPUT="${INPUT%.*}.csv"

pdftotext -layout ${INPUT} - | grep -e 'Erstimpfung\|Aachen' | tr -s " " "," | sed 's/,Erstimpfung/Kreis,Erstimpfung/' > ${OUTPUT}

Und hier wird es noch in ein CSV geschrieben. Die Kopfzeile muss man dann natürlich manuell einbauen, empfiehlt sich aber ja eh, da Feldnamen sich sonst doppeln.

#!/bin/sh

URL="https://coronaimpfung.nrw/fileadmin/ci_dateien/pdf/Durchgef%C3%BChrte_Impfungen_je_Kreis.pdf"

# get file
PDF=impfungen.pdf
curl -so $PDF ${URL}

# extract date
REAL_DATE=`pdftotext -layout $PDF -  | egrep -o ".?.?\..?.?\..?.?.?.?" | head -1`
DATE=`pdftotext -layout $PDF -  | egrep -o ".?.?\..?.?\..?.?.?.?" | head -1 | tr -s "." "_"`

# write single csv
OUTPUT="${DATE}.csv"
pdftotext -layout $PDF - | grep -e 'Erstimpfung\|Aachen' | tr -s " " "," | sed 's/,Erstimpfung/Kreis,Erstimpfung/' > ${OUTPUT}

# append to CSV
CSV="impfungen.csv"
if ! grep -q $REAL_DATE "$CSV"; then
        pdftotext -layout $PDF - | grep -e 'Aachen' | tr -s " " "," | sed 's/Aachen/'${REAL_DATE}'/' >> ${CSV}
fi

Ah, sehr gut. Für diese Datums-Regex war ich zu faul 😬