Stažení dumpů CEDRu

cedr_download.sh

#!/bin/bash
#
# Stažení dumpů CEDRu

set -e

# URL SPARQL endpointu CEDRu
ENDPOINT="http://cedropendata.mfcr.cz/c3lod/cedr/sparql"

# SPARQL dotaz pro získání URL dumpů
QUERY=$(cat <<-END
PREFIX void: <http://rdfs.org/ns/void#>

SELECT ?dump
WHERE {
  <http://cedropendata.mfcr.cz/c3lod/cedr#cedrDataSet> void:dataDump ?dump .
}
END
)

curl -sH "Accept:text/csv" --data-urlencode "query=$QUERY" $ENDPOINT |
  tr "
" "\n" | # Ořezání Windowsího zalomení řádku 
  tail -n +2 | # Přeskočení 1. řádku s hlavičkou
  xargs -n 1 -P 3 curl -O # Stažení dumpů po 3 paralelně

# Rozbalení dumpů
for dump in *.7z
do
  7z e $dump
  rm $dump
done