Enkelt skript for å enkelt laste ned mange pdf-versjoner av originale avissider fra ATEKST. Tips: Velg «utvidet søk og sett antall søkeresulater til 100. Klikk «Velg alle» ovenfor søketreffene, velg så neste side og trykk samme knapp. ATEKST tar vare på alle valgene selv om du skifter side. Når du har det du trenger velg «Lagre» og som «ren teks…

atekstcurl.sh

#!/bin/bash

for i in `cat url.txt`

# Your mileage may vary.
do curl -v $i -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H 'Connection: keep-alive' -H 'DNT: 1' -H 'Accept-Encoding: gzip,deflate,sdch' -H 'Host: ret.nu' -H 'Accept-Language: en-US,en;q=0.8' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36' -L --compressed -O

done

url.txt

http://ret.nu/NoV7Jqil
http://ret.nu/rzKwdNvc
http://ret.nu/DFCgUilE
…
http://ret.nu/fYUWMi8P