aborruso · June 16, 2017 09:14
diff --git a/00sindaciTutorialFast.ipynb b/00sindaciTutorialFast.ipynb
 {
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Intro\n",
    "\n",
    "Il comune di Palermo ha pubblicato i [dati](https://www.comune.palermo.it/opendata_menus.php?sel=15) sulle elezioni dell'11 giugno 2017 in formato XML. [Qui](https://www.comune.palermo.it/js/server/uploads/opendata/MetaDatiElezioniAmministrative.pdf) un documento con delle note sullo schema.\n",
    "\n",
    "In questo Jupyter notebook un piccolo esempio sul come convertire il file XML relativo ai voti dei candidati sindaco in un file CSV che contiene i voti per sezione di ogni sindaco.\n",
    "\n",
    "## Requisiti\n",
    "\n",
    "- [jq](https://stedolan.github.io/jq/);\n",
    "- [xmlstarlet](http://xmlstar.sourceforge.net/);\n",
    "- [xml2json](https://github.com/Inist-CNRS/node-xml2json-command);\n",
    "- python e pandas;"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%%bash\n",
    "# scarico i dati relativi ai voti dei candidati a sindaco\n",
    "curl -s \"http://comunali2017.comune.palermo.it/SEZ_1_82053.xml\" > ./sindaci.xml"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%%bash\n",
    "# estraggo i nomi dei canditati e il numero assegnato con una query XPATH sul file XML\n",
    "xmlstarlet sel -t -c '//C0/C1' sindaci.xml > ./candidatiSindaco.xml\n",
    "\n",
    "# converto in json\n",
    "xml2json < ./candidatiSindaco.xml > ./candidatiSindaco.json\n",
    "\n",
    "# converto in csv\n",
    "jq '[.C1[]| {NUMERO:.NUMERO,NOME:.NOME}]' ./candidatiSindaco.json | in2csv -f json > ./candidatiSindaco.csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# creo un dataframe in cui raccolgo i dati del CSV con i nomi dei candidati\n",
    "candidati=pd.read_csv('candidatiSindaco.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NUMERO</th>\n",
       "      <th>NOME</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>FORELLO SALVATORE DETTO UGO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>FERRANDELLI FABRIZIO DETTO FABBRIZIO</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   NUMERO                                  NOME\n",
       "0       1                          LOMONTE CIRO\n",
       "1       2           FORELLO SALVATORE DETTO UGO\n",
       "2       3  FERRANDELLI FABRIZIO DETTO FABBRIZIO"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Test di output\n",
    "candidati.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%%bash\n",
    "# estraggo per ogni sezione i voti validi tramite una query XPATH e converto in CSV\n",
    "xmlstarlet sel -t -c '//CONS/SV' sindaci.xml | xml2json | \\\n",
    "jq '[.SV[]|{\"sezione\":.NUMERO,\"c\":.V0.V1[]}|{sezione:.sezione,NUMERO:.c.NUMERO,VOTIVALIDI_C1:.c.VOTIVALIDI_C1}]' | \\\n",
    "in2csv -f json > votiSezioniSindaco.csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# creo un dataframe in cui raccolgo i dati del CSV con voti per sezione\n",
    "datiSezione=pd.read_csv('votiSezioniSindaco.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sezione</th>\n",
       "      <th>NUMERO</th>\n",
       "      <th>VOTIVALIDI_C1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>68</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>90</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1</td>\n",
       "      <td>4</td>\n",
       "      <td>314</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   sezione  NUMERO  VOTIVALIDI_C1\n",
       "0        1       1              3\n",
       "1        1       2             68\n",
       "2        1       3             90\n",
       "3        1       4            314"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Test di output\n",
    "datiSezione.head(4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# creo un dataframe in cui raccolgo i dati del CSV con le info sulle sezioni\n",
    "sezioniInfo=pd.read_csv('sezioniInfo.csv')\n",
    "\n",
    "# estraggo solo alcune colonne\n",
    "sezioniInfo=sezioniInfo[['seggio','Scuola','lat','long']]\n",
    "\n",
    "# rinomino una colonna\n",
    "sezioniInfo=sezioniInfo.rename(columns = {'seggio':'sezione'})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sezione</th>\n",
       "      <th>NUMERO</th>\n",
       "      <th>VOTIVALIDI_C1</th>\n",
       "      <th>Scuola</th>\n",
       "      <th>lat</th>\n",
       "      <th>long</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
       "      <td>38.112528</td>\n",
       "      <td>13.365158</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>68</td>\n",
       "      <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
       "      <td>38.112528</td>\n",
       "      <td>13.365158</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>90</td>\n",
       "      <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
       "      <td>38.112528</td>\n",
       "      <td>13.365158</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   sezione  NUMERO  VOTIVALIDI_C1  \\\n",
       "0        1       1              3   \n",
       "1        1       2             68   \n",
       "2        1       3             90   \n",
       "\n",
       "                                            Scuola        lat       long  \n",
       "0  Scuola dell'infanzia - madre Teresa Di Calcutta  38.112528  13.365158  \n",
       "1  Scuola dell'infanzia - madre Teresa Di Calcutta  38.112528  13.365158  \n",
       "2  Scuola dell'infanzia - madre Teresa Di Calcutta  38.112528  13.365158  "
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# faccio il merge tra i dati elettorali sulle sezioni e le info anagrafiche delle sezioni\n",
    "sezioniScuole=pd.merge(datiSezione,sezioniInfo,on='sezione')\n",
    "\n",
    "# Test di output\n",
    "sezioniScuole.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sezione</th>\n",
       "      <th>NUMERO</th>\n",
       "      <th>VOTIVALIDI_C1</th>\n",
       "      <th>NOME</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>6</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>5</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   sezione  NUMERO  VOTIVALIDI_C1          NOME\n",
       "0        1       1              3  LOMONTE CIRO\n",
       "1        2       1              6  LOMONTE CIRO\n",
       "2        3       1              5  LOMONTE CIRO"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# preparo un dataframe per l'export\n",
    "export=pd.merge(datiSezione,candidati,on='NUMERO')\n",
    "\n",
    "# Test di output\n",
    "export.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sezione</th>\n",
       "      <th>NUMERO</th>\n",
       "      <th>VOTIVALIDI_C1</th>\n",
       "      <th>Scuola</th>\n",
       "      <th>lat</th>\n",
       "      <th>long</th>\n",
       "      <th>NOME</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
       "      <td>38.112528</td>\n",
       "      <td>13.365158</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>6</td>\n",
       "      <td>Scuola primaria -  -  -  Manzoni</td>\n",
       "      <td>38.125807</td>\n",
       "      <td>13.343158</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>5</td>\n",
       "      <td>Scuola primaria e dell'infanzia - Castellana</td>\n",
       "      <td>38.125602</td>\n",
       "      <td>13.306493</td>\n",
       "      <td>LOMONTE CIRO</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   sezione  NUMERO  VOTIVALIDI_C1  \\\n",
       "0        1       1              3   \n",
       "1        2       1              6   \n",
       "2        3       1              5   \n",
       "\n",
       "                                            Scuola        lat       long  \\\n",
       "0  Scuola dell'infanzia - madre Teresa Di Calcutta  38.112528  13.365158   \n",
       "1                 Scuola primaria -  -  -  Manzoni  38.125807  13.343158   \n",
       "2     Scuola primaria e dell'infanzia - Castellana  38.125602  13.306493   \n",
       "\n",
       "           NOME  \n",
       "0  LOMONTE CIRO  \n",
       "1  LOMONTE CIRO  \n",
       "2  LOMONTE CIRO  "
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# preparo un dataframe per l'export con i dati aggregati per scuola e non per sezione, facendo il il merge \n",
    "# con i dati sui sindaci\n",
    "exportScuole=pd.merge(sezioniScuole,candidati,on='NUMERO')\n",
    "\n",
    "# test di output\n",
    "exportScuole.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# esporto i dati con le preferenze per ogni sezione\n",
    "export.to_csv('sezioniSindaco.csv',index=False,encoding='utf-8')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# esporto i dati con le preferenze per ogni scuola\n",
    "exportScuole.to_csv('scuoleSindaco.csv',index=False,encoding='utf-8')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>NOME</th>\n",
       "      <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
       "      <th>FORELLO SALVATORE DETTO UGO</th>\n",
       "      <th>LA VARDERA ISMAELE</th>\n",
       "      <th>LOMONTE CIRO</th>\n",
       "      <th>ORLANDO LEOLUCA</th>\n",
       "      <th>SPALLITA NADIA</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>sezione</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>90</td>\n",
       "      <td>68</td>\n",
       "      <td>10</td>\n",
       "      <td>3</td>\n",
       "      <td>314</td>\n",
       "      <td>26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>91</td>\n",
       "      <td>80</td>\n",
       "      <td>18</td>\n",
       "      <td>6</td>\n",
       "      <td>167</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>181</td>\n",
       "      <td>74</td>\n",
       "      <td>10</td>\n",
       "      <td>5</td>\n",
       "      <td>182</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "NOME     FERRANDELLI FABRIZIO DETTO FABBRIZIO  FORELLO SALVATORE DETTO UGO  \\\n",
       "sezione                                                                      \n",
       "1                                          90                           68   \n",
       "2                                          91                           80   \n",
       "3                                         181                           74   \n",
       "\n",
       "NOME     LA VARDERA ISMAELE  LOMONTE CIRO  ORLANDO LEOLUCA  SPALLITA NADIA  \n",
       "sezione                                                                     \n",
       "1                        10             3              314              26  \n",
       "2                        18             6              167               4  \n",
       "3                        10             5              182               6  "
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# creo la tabella pivot che raggruppa sommandoli i voti per sezione di ogni candidato\n",
    "candidatoSezione=pd.pivot_table(export,'VOTIVALIDI_C1','sezione','NOME',aggfunc='sum')\n",
    "\n",
    "# la esporto in CSV\n",
    "candidatoSezione.to_csv('candidatoSezione.csv',encoding='utf-8')\n",
    "\n",
    "# anteprima dell'output\n",
    "candidatoSezione.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>NOME</th>\n",
       "      <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
       "      <th>FORELLO SALVATORE DETTO UGO</th>\n",
       "      <th>LA VARDERA ISMAELE</th>\n",
       "      <th>LOMONTE CIRO</th>\n",
       "      <th>ORLANDO LEOLUCA</th>\n",
       "      <th>SPALLITA NADIA</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Scuola</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Direzione Didattica -  Capuana</th>\n",
       "      <td>688</td>\n",
       "      <td>374</td>\n",
       "      <td>68</td>\n",
       "      <td>44</td>\n",
       "      <td>1240</td>\n",
       "      <td>69</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Direzione Didattica -  De Gasperi</th>\n",
       "      <td>683</td>\n",
       "      <td>439</td>\n",
       "      <td>69</td>\n",
       "      <td>68</td>\n",
       "      <td>1531</td>\n",
       "      <td>59</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Direzione Didattica Capuana</th>\n",
       "      <td>103</td>\n",
       "      <td>69</td>\n",
       "      <td>21</td>\n",
       "      <td>20</td>\n",
       "      <td>260</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "NOME                               FERRANDELLI FABRIZIO DETTO FABBRIZIO  \\\n",
       "Scuola                                                                    \n",
       "Direzione Didattica -  Capuana                                      688   \n",
       "Direzione Didattica -  De Gasperi                                   683   \n",
       "Direzione Didattica Capuana                                         103   \n",
       "\n",
       "NOME                               FORELLO SALVATORE DETTO UGO  \\\n",
       "Scuola                                                           \n",
       "Direzione Didattica -  Capuana                             374   \n",
       "Direzione Didattica -  De Gasperi                          439   \n",
       "Direzione Didattica Capuana                                 69   \n",
       "\n",
       "NOME                               LA VARDERA ISMAELE  LOMONTE CIRO  \\\n",
       "Scuola                                                                \n",
       "Direzione Didattica -  Capuana                     68            44   \n",
       "Direzione Didattica -  De Gasperi                  69            68   \n",
       "Direzione Didattica Capuana                        21            20   \n",
       "\n",
       "NOME                               ORLANDO LEOLUCA  SPALLITA NADIA  \n",
       "Scuola                                                              \n",
       "Direzione Didattica -  Capuana                1240              69  \n",
       "Direzione Didattica -  De Gasperi             1531              59  \n",
       "Direzione Didattica Capuana                    260              15  "
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# creo la tabella pivot che raggruppa sommandoli i voti per scuola di ogni candidato\n",
    "candidatoScuola=pd.pivot_table(exportScuole,'VOTIVALIDI_C1','Scuola','NOME',aggfunc='sum')\n",
    "\n",
    "# esporto in CSV\n",
    "candidatoScuola.to_csv('candidatoScuola.csv',encoding='utf-8')\n",
    "\n",
    "# anteprima\n",
    "candidatoScuola.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>VOTIVALIDI_C1</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>NOME</th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
       "      <td>84863</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>FORELLO SALVATORE DETTO UGO</th>\n",
       "      <td>44271</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>LA VARDERA ISMAELE</th>\n",
       "      <td>7043</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>LOMONTE CIRO</th>\n",
       "      <td>4787</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ORLANDO LEOLUCA</th>\n",
       "      <td>125913</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>SPALLITA NADIA</th>\n",
       "      <td>5220</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                      VOTIVALIDI_C1\n",
       "NOME                                               \n",
       "FERRANDELLI FABRIZIO DETTO FABBRIZIO          84863\n",
       "FORELLO SALVATORE DETTO UGO                   44271\n",
       "LA VARDERA ISMAELE                             7043\n",
       "LOMONTE CIRO                                   4787\n",
       "ORLANDO LEOLUCA                              125913\n",
       "SPALLITA NADIA                                 5220"
      ]
     },
     "execution_count": 64,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# creo la tabella pivot con il numero di voti per ogni candidato\n",
    "candidato=(pd.pivot_table(export,'VOTIVALIDI_C1','NOME',aggfunc='sum')).to_frame()\n",
    "\n",
    "# esporto in CSB\n",
    "candidato.to_csv('candidato.csv',encoding='utf-8')\n",
    "\n",
    "# anteprima\n",
    "candidato"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:py35]",
   "language": "python",
   "name": "conda-env-py35-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
 }
diff --git a/sezioniInfo.csv b/sezioniInfo.csv
diff --git a/zDw.sh b/zDw.sh
 #!/bin/bash

 # Requisiti #
 # - avere un sistema in cui è possibile eseguire uno script bash;
 # - l'utility XMLStarlet http://xmlstar.sourceforge.net/download.php
 # - l'utility csvkit http://csvkit.readthedocs.io/

 # attivo la modalità di debug
 set -x

 # cancello file csv e xml pre esistenti nella cartella in cui lancio lo script
 rm -R *.csv

 # scarico tutti i dati delle 18 liste
 for i in {1..18}; do curl -s "http://comunali2017.comune.palermo.it/SEZ_3_82053_L$i.xml" > "$i".xml;done

 # scarico l'anagrafica di ogni candidato di ogni lista
 for i in {1..18}; do xmlstarlet sel -t -m "//C0/C1" -v "@NUMERO" -o "," -v "@NOME" -o "," -v "../@NUMERO" -o "," -v "../@NOME" -n "$i".xml > anagraficaLista_"$i".txt; sed -i '1s/^/numeroCandidato,nomeCandidato,numeroLista,nomeLista\n/' anagraficaLista_"$i".txt & done

 # scarico i voti di ogni candidato di ogni lista per ogni sezione
 for i in {1..18}; do xmlstarlet sel -t -m "//SV/V0/V1" -v "@NUMERO" -o "," -v "@VOTIVALIDI_C1" -o ","  -v "../@NUMERO" -o "," -v "../../@NUMERO" -n "$i".xml > listaSezioni_"$i".txt ; sed  -i '1s/^/numeroCandidato,voti,numeroLista,sezione\n/' listaSezioni_"$i".txt & done

 # faccio il join tra i dati per sezione e l'anagrafica dei candidati
 # l'output è un file di dettaglio in formato CSV per ogni lista
 for i in {1..18}; do csvsql --query "select * from  listaSezioni_$i LEFT JOIN anagraficaLista_$i ON listaSezioni_$i.numeroCandidato=anagraficaLista_$i.numeroCandidato" listaSezioni_"$i".txt anagraficaLista_"$i".txt > lista_"$i".csv; done

 # faccio il merge di tutti i CSV e produco un unico file
 # con tutti i voti per candidato per sezione di ogni lista
 csvstack *.csv | csvcut -c 1,2,3,4,6,8 > liste.csv

 # cancello file che non mi sono più utili
 rm -R *.txt
 rm -R *.xml
	{
	"cells": [
	{
	"cell_type": "markdown",
	"metadata": {},
	"source": [
	"# Intro\n",
	"\n",
	"Il comune di Palermo ha pubblicato i [dati](https://www.comune.palermo.it/opendata_menus.php?sel=15) sulle elezioni dell'11 giugno 2017 in formato XML. [Qui](https://www.comune.palermo.it/js/server/uploads/opendata/MetaDatiElezioniAmministrative.pdf) un documento con delle note sullo schema.\n",
	"\n",
	"In questo Jupyter notebook un piccolo esempio sul come convertire il file XML relativo ai voti dei candidati sindaco in un file CSV che contiene i voti per sezione di ogni sindaco.\n",
	"\n",
	"## Requisiti\n",
	"\n",
	"- [jq](https://stedolan.github.io/jq/);\n",
	"- [xmlstarlet](http://xmlstar.sourceforge.net/);\n",
	"- [xml2json](https://github.com/Inist-CNRS/node-xml2json-command);\n",
	"- python e pandas;"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 48,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"import pandas as pd"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 49,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"%%bash\n",
	"# scarico i dati relativi ai voti dei candidati a sindaco\n",
	"curl -s \"http://comunali2017.comune.palermo.it/SEZ_1_82053.xml\" > ./sindaci.xml"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 50,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"%%bash\n",
	"# estraggo i nomi dei canditati e il numero assegnato con una query XPATH sul file XML\n",
	"xmlstarlet sel -t -c '//C0/C1' sindaci.xml > ./candidatiSindaco.xml\n",
	"\n",
	"# converto in json\n",
	"xml2json < ./candidatiSindaco.xml > ./candidatiSindaco.json\n",
	"\n",
	"# converto in csv\n",
	"jq '[.C1[]\| {NUMERO:.NUMERO,NOME:.NOME}]' ./candidatiSindaco.json \| in2csv -f json > ./candidatiSindaco.csv"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 51,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"# creo un dataframe in cui raccolgo i dati del CSV con i nomi dei candidati\n",
	"candidati=pd.read_csv('candidatiSindaco.csv')"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 52,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>NUMERO</th>\n",
	" <th>NOME</th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>0</th>\n",
	" <td>1</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>2</td>\n",
	" <td>FORELLO SALVATORE DETTO UGO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>3</td>\n",
	" <td>FERRANDELLI FABRIZIO DETTO FABBRIZIO</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" NUMERO NOME\n",
	"0 1 LOMONTE CIRO\n",
	"1 2 FORELLO SALVATORE DETTO UGO\n",
	"2 3 FERRANDELLI FABRIZIO DETTO FABBRIZIO"
	]
	},
	"execution_count": 52,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# Test di output\n",
	"candidati.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 53,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"%%bash\n",
	"# estraggo per ogni sezione i voti validi tramite una query XPATH e converto in CSV\n",
	"xmlstarlet sel -t -c '//CONS/SV' sindaci.xml \| xml2json \| \\\n",
	"jq '[.SV[]\|{\"sezione\":.NUMERO,\"c\":.V0.V1[]}\|{sezione:.sezione,NUMERO:.c.NUMERO,VOTIVALIDI_C1:.c.VOTIVALIDI_C1}]' \| \\\n",
	"in2csv -f json > votiSezioniSindaco.csv"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 54,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"# creo un dataframe in cui raccolgo i dati del CSV con voti per sezione\n",
	"datiSezione=pd.read_csv('votiSezioniSindaco.csv')"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 55,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>sezione</th>\n",
	" <th>NUMERO</th>\n",
	" <th>VOTIVALIDI_C1</th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>0</th>\n",
	" <td>1</td>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>1</td>\n",
	" <td>2</td>\n",
	" <td>68</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" <td>90</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>3</th>\n",
	" <td>1</td>\n",
	" <td>4</td>\n",
	" <td>314</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" sezione NUMERO VOTIVALIDI_C1\n",
	"0 1 1 3\n",
	"1 1 2 68\n",
	"2 1 3 90\n",
	"3 1 4 314"
	]
	},
	"execution_count": 55,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# Test di output\n",
	"datiSezione.head(4)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 56,
	"metadata": {
	"collapsed": true
	},
	"outputs": [],
	"source": [
	"# creo un dataframe in cui raccolgo i dati del CSV con le info sulle sezioni\n",
	"sezioniInfo=pd.read_csv('sezioniInfo.csv')\n",
	"\n",
	"# estraggo solo alcune colonne\n",
	"sezioniInfo=sezioniInfo[['seggio','Scuola','lat','long']]\n",
	"\n",
	"# rinomino una colonna\n",
	"sezioniInfo=sezioniInfo.rename(columns = {'seggio':'sezione'})"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 57,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>sezione</th>\n",
	" <th>NUMERO</th>\n",
	" <th>VOTIVALIDI_C1</th>\n",
	" <th>Scuola</th>\n",
	" <th>lat</th>\n",
	" <th>long</th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>0</th>\n",
	" <td>1</td>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
	" <td>38.112528</td>\n",
	" <td>13.365158</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>1</td>\n",
	" <td>2</td>\n",
	" <td>68</td>\n",
	" <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
	" <td>38.112528</td>\n",
	" <td>13.365158</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" <td>90</td>\n",
	" <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
	" <td>38.112528</td>\n",
	" <td>13.365158</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" sezione NUMERO VOTIVALIDI_C1 \\\n",
	"0 1 1 3 \n",
	"1 1 2 68 \n",
	"2 1 3 90 \n",
	"\n",
	" Scuola lat long \n",
	"0 Scuola dell'infanzia - madre Teresa Di Calcutta 38.112528 13.365158 \n",
	"1 Scuola dell'infanzia - madre Teresa Di Calcutta 38.112528 13.365158 \n",
	"2 Scuola dell'infanzia - madre Teresa Di Calcutta 38.112528 13.365158 "
	]
	},
	"execution_count": 57,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# faccio il merge tra i dati elettorali sulle sezioni e le info anagrafiche delle sezioni\n",
	"sezioniScuole=pd.merge(datiSezione,sezioniInfo,on='sezione')\n",
	"\n",
	"# Test di output\n",
	"sezioniScuole.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 58,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>sezione</th>\n",
	" <th>NUMERO</th>\n",
	" <th>VOTIVALIDI_C1</th>\n",
	" <th>NOME</th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>0</th>\n",
	" <td>1</td>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>2</td>\n",
	" <td>1</td>\n",
	" <td>6</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>3</td>\n",
	" <td>1</td>\n",
	" <td>5</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" sezione NUMERO VOTIVALIDI_C1 NOME\n",
	"0 1 1 3 LOMONTE CIRO\n",
	"1 2 1 6 LOMONTE CIRO\n",
	"2 3 1 5 LOMONTE CIRO"
	]
	},
	"execution_count": 58,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# preparo un dataframe per l'export\n",
	"export=pd.merge(datiSezione,candidati,on='NUMERO')\n",
	"\n",
	"# Test di output\n",
	"export.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 59,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>sezione</th>\n",
	" <th>NUMERO</th>\n",
	" <th>VOTIVALIDI_C1</th>\n",
	" <th>Scuola</th>\n",
	" <th>lat</th>\n",
	" <th>long</th>\n",
	" <th>NOME</th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>0</th>\n",
	" <td>1</td>\n",
	" <td>1</td>\n",
	" <td>3</td>\n",
	" <td>Scuola dell'infanzia - madre Teresa Di Calcutta</td>\n",
	" <td>38.112528</td>\n",
	" <td>13.365158</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>2</td>\n",
	" <td>1</td>\n",
	" <td>6</td>\n",
	" <td>Scuola primaria - - - Manzoni</td>\n",
	" <td>38.125807</td>\n",
	" <td>13.343158</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>3</td>\n",
	" <td>1</td>\n",
	" <td>5</td>\n",
	" <td>Scuola primaria e dell'infanzia - Castellana</td>\n",
	" <td>38.125602</td>\n",
	" <td>13.306493</td>\n",
	" <td>LOMONTE CIRO</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" sezione NUMERO VOTIVALIDI_C1 \\\n",
	"0 1 1 3 \n",
	"1 2 1 6 \n",
	"2 3 1 5 \n",
	"\n",
	" Scuola lat long \\\n",
	"0 Scuola dell'infanzia - madre Teresa Di Calcutta 38.112528 13.365158 \n",
	"1 Scuola primaria - - - Manzoni 38.125807 13.343158 \n",
	"2 Scuola primaria e dell'infanzia - Castellana 38.125602 13.306493 \n",
	"\n",
	" NOME \n",
	"0 LOMONTE CIRO \n",
	"1 LOMONTE CIRO \n",
	"2 LOMONTE CIRO "
	]
	},
	"execution_count": 59,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# preparo un dataframe per l'export con i dati aggregati per scuola e non per sezione, facendo il il merge \n",
	"# con i dati sui sindaci\n",
	"exportScuole=pd.merge(sezioniScuole,candidati,on='NUMERO')\n",
	"\n",
	"# test di output\n",
	"exportScuole.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 60,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"# esporto i dati con le preferenze per ogni sezione\n",
	"export.to_csv('sezioniSindaco.csv',index=False,encoding='utf-8')"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 61,
	"metadata": {
	"collapsed": false
	},
	"outputs": [],
	"source": [
	"# esporto i dati con le preferenze per ogni scuola\n",
	"exportScuole.to_csv('scuoleSindaco.csv',index=False,encoding='utf-8')"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 62,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th>NOME</th>\n",
	" <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
	" <th>FORELLO SALVATORE DETTO UGO</th>\n",
	" <th>LA VARDERA ISMAELE</th>\n",
	" <th>LOMONTE CIRO</th>\n",
	" <th>ORLANDO LEOLUCA</th>\n",
	" <th>SPALLITA NADIA</th>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>sezione</th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>1</th>\n",
	" <td>90</td>\n",
	" <td>68</td>\n",
	" <td>10</td>\n",
	" <td>3</td>\n",
	" <td>314</td>\n",
	" <td>26</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>2</th>\n",
	" <td>91</td>\n",
	" <td>80</td>\n",
	" <td>18</td>\n",
	" <td>6</td>\n",
	" <td>167</td>\n",
	" <td>4</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>3</th>\n",
	" <td>181</td>\n",
	" <td>74</td>\n",
	" <td>10</td>\n",
	" <td>5</td>\n",
	" <td>182</td>\n",
	" <td>6</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	"NOME FERRANDELLI FABRIZIO DETTO FABBRIZIO FORELLO SALVATORE DETTO UGO \\\n",
	"sezione \n",
	"1 90 68 \n",
	"2 91 80 \n",
	"3 181 74 \n",
	"\n",
	"NOME LA VARDERA ISMAELE LOMONTE CIRO ORLANDO LEOLUCA SPALLITA NADIA \n",
	"sezione \n",
	"1 10 3 314 26 \n",
	"2 18 6 167 4 \n",
	"3 10 5 182 6 "
	]
	},
	"execution_count": 62,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# creo la tabella pivot che raggruppa sommandoli i voti per sezione di ogni candidato\n",
	"candidatoSezione=pd.pivot_table(export,'VOTIVALIDI_C1','sezione','NOME',aggfunc='sum')\n",
	"\n",
	"# la esporto in CSV\n",
	"candidatoSezione.to_csv('candidatoSezione.csv',encoding='utf-8')\n",
	"\n",
	"# anteprima dell'output\n",
	"candidatoSezione.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 63,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th>NOME</th>\n",
	" <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
	" <th>FORELLO SALVATORE DETTO UGO</th>\n",
	" <th>LA VARDERA ISMAELE</th>\n",
	" <th>LOMONTE CIRO</th>\n",
	" <th>ORLANDO LEOLUCA</th>\n",
	" <th>SPALLITA NADIA</th>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>Scuola</th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" <th></th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>Direzione Didattica - Capuana</th>\n",
	" <td>688</td>\n",
	" <td>374</td>\n",
	" <td>68</td>\n",
	" <td>44</td>\n",
	" <td>1240</td>\n",
	" <td>69</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>Direzione Didattica - De Gasperi</th>\n",
	" <td>683</td>\n",
	" <td>439</td>\n",
	" <td>69</td>\n",
	" <td>68</td>\n",
	" <td>1531</td>\n",
	" <td>59</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>Direzione Didattica Capuana</th>\n",
	" <td>103</td>\n",
	" <td>69</td>\n",
	" <td>21</td>\n",
	" <td>20</td>\n",
	" <td>260</td>\n",
	" <td>15</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	"NOME FERRANDELLI FABRIZIO DETTO FABBRIZIO \\\n",
	"Scuola \n",
	"Direzione Didattica - Capuana 688 \n",
	"Direzione Didattica - De Gasperi 683 \n",
	"Direzione Didattica Capuana 103 \n",
	"\n",
	"NOME FORELLO SALVATORE DETTO UGO \\\n",
	"Scuola \n",
	"Direzione Didattica - Capuana 374 \n",
	"Direzione Didattica - De Gasperi 439 \n",
	"Direzione Didattica Capuana 69 \n",
	"\n",
	"NOME LA VARDERA ISMAELE LOMONTE CIRO \\\n",
	"Scuola \n",
	"Direzione Didattica - Capuana 68 44 \n",
	"Direzione Didattica - De Gasperi 69 68 \n",
	"Direzione Didattica Capuana 21 20 \n",
	"\n",
	"NOME ORLANDO LEOLUCA SPALLITA NADIA \n",
	"Scuola \n",
	"Direzione Didattica - Capuana 1240 69 \n",
	"Direzione Didattica - De Gasperi 1531 59 \n",
	"Direzione Didattica Capuana 260 15 "
	]
	},
	"execution_count": 63,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# creo la tabella pivot che raggruppa sommandoli i voti per scuola di ogni candidato\n",
	"candidatoScuola=pd.pivot_table(exportScuole,'VOTIVALIDI_C1','Scuola','NOME',aggfunc='sum')\n",
	"\n",
	"# esporto in CSV\n",
	"candidatoScuola.to_csv('candidatoScuola.csv',encoding='utf-8')\n",
	"\n",
	"# anteprima\n",
	"candidatoScuola.head(3)"
	]
	},
	{
	"cell_type": "code",
	"execution_count": 64,
	"metadata": {
	"collapsed": false
	},
	"outputs": [
	{
	"data": {
	"text/html": [
	"<div>\n",
	"<table border=\"1\" class=\"dataframe\">\n",
	" <thead>\n",
	" <tr style=\"text-align: right;\">\n",
	" <th></th>\n",
	" <th>VOTIVALIDI_C1</th>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>NOME</th>\n",
	" <th></th>\n",
	" </tr>\n",
	" </thead>\n",
	" <tbody>\n",
	" <tr>\n",
	" <th>FERRANDELLI FABRIZIO DETTO FABBRIZIO</th>\n",
	" <td>84863</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>FORELLO SALVATORE DETTO UGO</th>\n",
	" <td>44271</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>LA VARDERA ISMAELE</th>\n",
	" <td>7043</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>LOMONTE CIRO</th>\n",
	" <td>4787</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>ORLANDO LEOLUCA</th>\n",
	" <td>125913</td>\n",
	" </tr>\n",
	" <tr>\n",
	" <th>SPALLITA NADIA</th>\n",
	" <td>5220</td>\n",
	" </tr>\n",
	" </tbody>\n",
	"</table>\n",
	"</div>"
	],
	"text/plain": [
	" VOTIVALIDI_C1\n",
	"NOME \n",
	"FERRANDELLI FABRIZIO DETTO FABBRIZIO 84863\n",
	"FORELLO SALVATORE DETTO UGO 44271\n",
	"LA VARDERA ISMAELE 7043\n",
	"LOMONTE CIRO 4787\n",
	"ORLANDO LEOLUCA 125913\n",
	"SPALLITA NADIA 5220"
	]
	},
	"execution_count": 64,
	"metadata": {},
	"output_type": "execute_result"
	}
	],
	"source": [
	"# creo la tabella pivot con il numero di voti per ogni candidato\n",
	"candidato=(pd.pivot_table(export,'VOTIVALIDI_C1','NOME',aggfunc='sum')).to_frame()\n",
	"\n",
	"# esporto in CSB\n",
	"candidato.to_csv('candidato.csv',encoding='utf-8')\n",
	"\n",
	"# anteprima\n",
	"candidato"
	]
	}
	],
	"metadata": {
	"kernelspec": {
	"display_name": "Python [conda env:py35]",
	"language": "python",
	"name": "conda-env-py35-py"
	},
	"language_info": {
	"codemirror_mode": {
	"name": "ipython",
	"version": 3
	},
	"file_extension": ".py",
	"mimetype": "text/x-python",
	"name": "python",
	"nbconvert_exporter": "python",
	"pygments_lexer": "ipython3",
	"version": "3.5.2"
	}
	},
	"nbformat": 4,
	"nbformat_minor": 1
	}
	#!/bin/bash

	# Requisiti #
	# - avere un sistema in cui è possibile eseguire uno script bash;
	# - l'utility XMLStarlet http://xmlstar.sourceforge.net/download.php
	# - l'utility csvkit http://csvkit.readthedocs.io/

	# attivo la modalità di debug
	set -x

	# cancello file csv e xml pre esistenti nella cartella in cui lancio lo script
	rm -R *.csv

	# scarico tutti i dati delle 18 liste
	for i in {1..18}; do curl -s "http://comunali2017.comune.palermo.it/SEZ_3_82053_L$i.xml" > "$i".xml;done

	# scarico l'anagrafica di ogni candidato di ogni lista
	for i in {1..18}; do xmlstarlet sel -t -m "//C0/C1" -v "@NUMERO" -o "," -v "@NOME" -o "," -v "../@NUMERO" -o "," -v "../@NOME" -n "$i".xml > anagraficaLista_"$i".txt; sed -i '1s/^/numeroCandidato,nomeCandidato,numeroLista,nomeLista\n/' anagraficaLista_"$i".txt & done

	# scarico i voti di ogni candidato di ogni lista per ogni sezione
	for i in {1..18}; do xmlstarlet sel -t -m "//SV/V0/V1" -v "@NUMERO" -o "," -v "@VOTIVALIDI_C1" -o "," -v "../@NUMERO" -o "," -v "../../@NUMERO" -n "$i".xml > listaSezioni_"$i".txt ; sed -i '1s/^/numeroCandidato,voti,numeroLista,sezione\n/' listaSezioni_"$i".txt & done

	# faccio il join tra i dati per sezione e l'anagrafica dei candidati
	# l'output è un file di dettaglio in formato CSV per ogni lista
	for i in {1..18}; do csvsql --query "select * from listaSezioni_$i LEFT JOIN anagraficaLista_$i ON listaSezioni_$i.numeroCandidato=anagraficaLista_$i.numeroCandidato" listaSezioni_"$i".txt anagraficaLista_"$i".txt > lista_"$i".csv; done

	# faccio il merge di tutti i CSV e produco un unico file
	# con tutti i voti per candidato per sezione di ogni lista
	csvstack *.csv \| csvcut -c 1,2,3,4,6,8 > liste.csv

	# cancello file che non mi sono più utili
	rm -R *.txt
	rm -R *.xml