mauforonda · December 5, 2020 06:16 · mauforonda · Dec 5, 2020
diff --git a/bolivia_maes.csv b/bolivia_maes.csv
diff --git a/json2csv.py b/json2csv.py
 #!/usr/bin/env python3
 '''
 Recoge datos significativos de `bolivia-maes.json` y produce un csv.
 '''
 import json
 import pandas as pd

 # Lee el archivo json exportado de airtable (`bolivia-maes.json`) y convierte las listas `entidades`, `fuentes` y `personas` en diccionarios cuyas llaves son el identificador airtable para facilitar el cruce de sus valores con la lista `autoridades`.
 with open('bolivia-maes.json', 'r') as f:
  json_data = json.load(f)
  for table in ['entidades', 'fuentes', 'personas']:
    json_data[table] = {e['airtableId']:e for e in json_data[table]}

 # La lista de los campos que queremos recoger de cada tabla y los nombres que les asignaremos
 filtro = {
    'autoridades': [['cargo', 'cargo'],
                    ['desde', 'fecha']],
    'entidades': [['nombre', 'entidad']],
    'fuentes': [['fuente', 'fuente'],
                ['tweet', 'tweet']],
    'personas':[['genero', 'genero'],
                ['nombre', 'nombre']]
  }

 # Recoge valores de los campos senalados creando un diccionario para cada autoridad que adjunta a la lista `data` 
 data = []
 for autoridad in json_data['autoridades']:
  entry = {campo[1]: autoridad[campo[0]] for campo in filtro['autoridades']}
  for relacion, atributo in zip(['entidades', 'fuentes', 'personas'], ['entidad', 'fuente', 'persona']):
    for campo in filtro[relacion]:
      try:
        entry[campo[1]] = json_data[relacion][autoridad[atributo][0]][campo[0]] 
      except KeyError:
        entry[campo[1]] = None
  data.append(entry)

 # Crea un dataframe que ordena por fecha
 df = pd.DataFrame(data)
 df = df[['fecha', 'nombre', 'cargo', 'entidad', 'genero', 'fuente', 'tweet']]
 df['fecha'] = pd.to_datetime(df['fecha'])

 # Guarda los datos en format csv
 df.sort_values('fecha').to_csv('bolivia_maes.csv', index=False)
	#!/usr/bin/env python3
	'''
	Recoge datos significativos de `bolivia-maes.json` y produce un csv.
	'''
	import json
	import pandas as pd

	# Lee el archivo json exportado de airtable (`bolivia-maes.json`) y convierte las listas `entidades`, `fuentes` y `personas` en diccionarios cuyas llaves son el identificador airtable para facilitar el cruce de sus valores con la lista `autoridades`.
	with open('bolivia-maes.json', 'r') as f:
	json_data = json.load(f)
	for table in ['entidades', 'fuentes', 'personas']:
	json_data[table] = {e['airtableId']:e for e in json_data[table]}

	# La lista de los campos que queremos recoger de cada tabla y los nombres que les asignaremos
	filtro = {
	'autoridades': [['cargo', 'cargo'],
	['desde', 'fecha']],
	'entidades': [['nombre', 'entidad']],
	'fuentes': [['fuente', 'fuente'],
	['tweet', 'tweet']],
	'personas':[['genero', 'genero'],
	['nombre', 'nombre']]
	}

	# Recoge valores de los campos senalados creando un diccionario para cada autoridad que adjunta a la lista `data`
	data = []
	for autoridad in json_data['autoridades']:
	entry = {campo[1]: autoridad[campo[0]] for campo in filtro['autoridades']}
	for relacion, atributo in zip(['entidades', 'fuentes', 'personas'], ['entidad', 'fuente', 'persona']):
	for campo in filtro[relacion]:
	try:
	entry[campo[1]] = json_data[relacion][autoridad[atributo][0]][campo[0]]
	except KeyError:
	entry[campo[1]] = None
	data.append(entry)

	# Crea un dataframe que ordena por fecha
	df = pd.DataFrame(data)
	df = df[['fecha', 'nombre', 'cargo', 'entidad', 'genero', 'fuente', 'tweet']]
	df['fecha'] = pd.to_datetime(df['fecha'])

	# Guarda los datos en format csv
	df.sort_values('fecha').to_csv('bolivia_maes.csv', index=False)