Extrair autos de infração do IBAMA de HTML para CSV

script.sh

# baixe os dados
curl http://dadosabertos.ibama.gov.br/dados/SIFISC/auto_infracao/auto_infracao/auto_infracao.html > autos.html

# gere csv
# (primeiro passo é quebrar as linhas, acelera o processamento)
cat autos.html \
  | sed -e 's|<\/tr>|\n|g' \
  | sed -e 's/.*<thead\sbgcolor\=\"\#808080\">//' \
        -e 's|\salign\=\"center\"||g' \
        -e 's|<\/th>|\|\|\||g' \
        -e 's|</thead><tbody>|\n|g' \
        -e 's|<th>||g' \
        -e 's|<\/td>|\|\|\||g' \
        -e 's|<td>||g' \
        -e 's|<tr>||g' \
        -e 's|<\/tr>|\n|g' \
        -e 's|</tbody></table></body></html>||g' \
    > autos.csv

# obs: os separadores são três pipes, ou |||
# é um separador esquisito mas precisava de uma sequência que não ocorria no arquivo

# leia no python
# (no openoffice ele se atrapalha com esse separador)
import pandas as pd
df = pd.read_csv('autos.csv', sep='\|\|\|')