Impf Extraction

.gitignore

*.pdf

2021-04-16.csv

download.sh

#!/usr/bin/env bash

URL="https://coronaimpfung.nrw/fileadmin/ci_dateien/pdf/Durchgef%C3%BChrte_Impfungen_je_Kreis.pdf"

DATE=$(date +"%Y-%m-%d")

curl -o "${DATE}.pdf" ${URL}

echo "Written ${DATE}.pdf"

post_process.sh

#!/usr/bin/env bash

INPUT="$1"

OUTPUT="${INPUT%.*}.csv"

pdftotext -layout ${INPUT} - | grep -e 'Erstimpfung\|Aachen' | tr -s " " "," | sed 's/,Erstimpfung/Kreis,Erstimpfung/' > ${OUTPUT}

Das wäre nun meine Lösung, die auch eine Datei mit dem im PDF angegebenen Datum anlegt.
Schöner wäre natürlich noch, wenn es eine neue Zeile in das CSV einfügt.. Mach ich vielleicht nocht.

#!/bin/sh

URL="https://coronaimpfung.nrw/fileadmin/ci_dateien/pdf/Durchgef%C3%BChrte_Impfungen_je_Kreis.pdf"

# temporary import file
PDF=impfungen.pdf

# extract date
curl -so $PDF ${URL}
DATE=`pdftotext -layout $PDF -  | egrep -o ".?.?\..?.?\..?.?.?.?" | head -1 | tr -s "." "_"`

# write single csv
OUTPUT="${DATE}.csv"
pdftotext -layout $PDF - | grep -e 'Erstimpfung\|Aachen' | tr -s " " "," | sed 's/,Erstimpfung/Kreis,Erstimpfung/' > ${OUTPUT}

Und hier wird es noch in ein CSV geschrieben. Die Kopfzeile muss man dann natürlich manuell einbauen, empfiehlt sich aber ja eh, da Feldnamen sich sonst doppeln.

#!/bin/sh

URL="https://coronaimpfung.nrw/fileadmin/ci_dateien/pdf/Durchgef%C3%BChrte_Impfungen_je_Kreis.pdf"

# get file
PDF=impfungen.pdf
curl -so $PDF ${URL}

# extract date
REAL_DATE=`pdftotext -layout $PDF -  | egrep -o ".?.?\..?.?\..?.?.?.?" | head -1`
DATE=`pdftotext -layout $PDF -  | egrep -o ".?.?\..?.?\..?.?.?.?" | head -1 | tr -s "." "_"`

# write single csv
OUTPUT="${DATE}.csv"
pdftotext -layout $PDF - | grep -e 'Erstimpfung\|Aachen' | tr -s " " "," | sed 's/,Erstimpfung/Kreis,Erstimpfung/' > ${OUTPUT}

# append to CSV
CSV="impfungen.csv"
if ! grep -q $REAL_DATE "$CSV"; then
        pdftotext -layout $PDF - | grep -e 'Aachen' | tr -s " " "," | sed 's/Aachen/'${REAL_DATE}'/' >> ${CSV}
fi

Ah, sehr gut. Für diese Datums-Regex war ich zu faul 😬