fernandobarbalho’s gists

fernandobarbalho / Extrair_dados_Porta_transparencia

Created July 30, 2018 13:29

	mudou_estrutura <- FALSE
	tipo_nova_estrutura <- c(character(1))

	mes_fim<-12

	for (ano in 2013:2018){

	if (ano == 2018) {mes_fim<-ult_mes_disp}
	ifelse(ano==2012, mes_ini <-12, mes_ini<-1)

fernandobarbalho / gist:e4bd2d70153a4ad0a5097e2ac02589d1

Last active February 1, 2019 20:51

Função que faz gráfico a partir de uma fórmula para análise ANOVA

	grafico_serie_anova<- function(formula, dados_origem){

	library(agricolae)
	library(ggplot2)

	res.aov <- aov( formula, data =dados_origem )

	out<-HSD.test(res.aov,res.aov[["terms"]][[3]])

	grupos <- out$groups[2]

fernandobarbalho / tradutor_pdf_tabela

Created February 20, 2019 18:15

Função para leitura de uma tabela de arquivo pdf e conversão para dataframe

	#Função para leitura de uma tabela de arquivo pdf e conversão para dataframe
	tradutor_pdf_tabela <- function(arquivo_pdf, delimitador_ini,delimitador_fim,rubricas){
	library(pdftools)


	txt <- pdf_text(arquivo_pdf)

	#Localiza o ponto inicail de tratamento do arquivo

fernandobarbalho / gist:c814fdb794907645cae1978c096cdf8a

Last active May 2, 2019 23:45

Função para atualizar informações de licença todos os datasets de uma URL de ckan

	update_all_licence <- function(key, url, limit=1000, license_title,license_id,license_url ){
	#key: chave do usuário que tem direitos de atualizações sobre datasets
	#url: url principal do índice do ckan
	#license_title: título da licença
	#license_id: id da licença
	#license_url: url da licença
	#limite: normalmente está associado ao número de datasets do usuário. Atribui-se um valor default de 1000


	#Esse vetor registrará os erros ocorridos durante o processo de atualização

fernandobarbalho / gist:0cf27d994e39700663551b2d14387b08

Created August 5, 2019 15:20

Com essa função é possível programaticamente baixar todos os dados que se queira do datasus apenas alterando os parâmetros de uma função.

	hack_datasus <- function(sistema, modalidade, tipo_arquivo, ano, UF, mes){

	#Função gera dataframe a partir de ftp feita na página do datasus

	#sistema ex:'SIHSUS' Verificar os sistemas disponíveis em http://www2.datasus.gov.br/DATASUS/index.php?area=0901&item=1
	#modalidade 'dados'
	#tipo_arquivo ex: 'RD'#Varia conforme o sistema
	#ano ex: 17 Dois últimos dígitos do ano
	#UF ex:'AL' Sigla de UF Brasileira
	#mes ex:'12' strings entre 01 e 12

fernandobarbalho / gist:be7a88848a645883cf97168f8ca18d2a

Created August 9, 2019 13:33

Script para download de dados do microcenso

	#Extração dos arquivos do censo escolar

	library(purrr)

	#Downloads
	#Informe ano inicial e ano final. Os limites são 1995 e 2018
	ano_ini<- 1995
	ano_fim<-2018

	map(ano_ini:ano_fim, function(ano){

fernandobarbalho / gist:40f7e6c0cf925065e21084062e5ad513

Last active August 9, 2022 20:55

script para leitura e tratamento de tabela do ibama sobre oleamento de praias do NE

	library(tabulizer)
	library(dplyr)

	setwd("~/GitHub/oleogate/data")

	#Extrai tabelas do arquivo pdf.
	#Esse arquivo foi baixado do seguinte link
	# https://politica.estadao.com.br/blogs/estadao-verifica/wp-content/uploads/sites/690/2019/10/Ibama.pdf
	#A tabela é extraída para um arquivo csv de forma a poder trabalhar melhor questões de encoding
	tabulizer::extract_tables("ibama.pdf", output = "csv",outdir = getwd())

fernandobarbalho / script_indice_FIRJAN.R

Last active May 25, 2021 17:33

Script para cálculo do índice de autonomia da FIRJAN usando o pacote rsiconfi

	# install.packages("devtools")
	devtools::install_github("tchiluanda/rsiconfi")

	library(rsiconfi)
	library(dplyr)
	library(tidyr)

	###########Trabalhando as despesas

	#Monta um vetor com todos os códigos de UFs do Brasil

fernandobarbalho / ETL_pensionistas.R

Created January 14, 2020 15:05

ETL para tratar dados de pensionsitas


	library(readr)
	library(dplyr)
	PENSIONISTAS_112019 <- read_delim("Data/PENSIONISTAS_112019.csv",
	";", escape_double = FALSE, locale = locale(decimal_mark = ",",
	grouping_mark = ".", encoding = "LATIN1"),
	trim_ws = TRUE)

	PENSIONISTAS_122019 <- read_delim("Data/PENSIONISTAS_122019.csv",
	";", escape_double = FALSE, locale = locale(decimal_mark = ",",

fernandobarbalho / download_bolsa_familia.R

Last active June 25, 2023 16:03

Script para download de base de dados de bolsa família

	#Faça download de um conjunto de tabelas do bolsa família referente a qualquer período a partir de janeiro de 2003

	base_address<- "http://transparencia.gov.br/download-de-dados/bolsa-familia-pagamentos/"

	#Alterar as variáveis abaixo de acordo com o que se deseja
	ano_ini<- 2018
	ano_fim<- 2018
	mes_ini<-1

	ult_mes_disp<- 2

Fernando Almeida Barbalho fernandobarbalho