Sérgio Spagnuolo sergiospagnuolo

Análise de buscas no Twitter no calor do momento

Este caderno contém funções para que seja possível medir o interesse de buscas no Twitter, com a finalidade de saber de algum assunto está realmente popular na rede social em certo momento. Por conta de limitações na API gratuita do Twitter, recomenda-se a utilização dessa metodologia para saber se um tópico foi popular no último dia ou período do dia.

Um exemplo de como isso foi usado pode ser visto neste tweet

Esta metodologia utiliza as bibliotecas de R Tidyverse e TwitteR para acessar os dados do Twitter.

Você também vai precisar de uma conta de desenvolvedor, a fim de conseguir todas as chaves de API para fazer as buscas (caso não tenha, garanto que é bem fácil).

	library(tidyverse)
	library(clipr)

	# BRASIL - GERAL
	# média de distanciamento social
	bid %>%
	filter(data> '2020-03-15' & region_type == "country" & dia_semana != "domingo") %>%
	summarise(media = mean((ratio_20 - 1) * 100), mediana = median((ratio_20 - 1) * 100))

	# distanciamento social por dia da semana

	library(lubridate)
	library(scales)
	library(tidyverse)

	# regulariza o formato da data do tweet, corrige para fuso certo
	d$created_at <- as.POSIXct(strptime(d$created_at, "%Y-%m-%d %H:%M:%S"))
	d$created_at <- d$created_at - hours(3)
	d$dia <- as.POSIXct(strptime(d$created_at, "%Y-%m-%d"))

	# cria coluna com minuto arredondado

	library(tidyverse)
	library(scales)
	library(clipr)
	library(ggthemes)

	# total de famílias recipientes, por mes
	benf_mes_pessoas <- total %>%
	drop_na() %>%
	filter(data > "2011-01-01") %>%
	group_by(data) %>%

	library(tidyverse)
	library(cepespR)
	library(httr)
	library(jsonlite)
	library(knitr)

	codmun <- read.csv("http://cepespdata.io/static/docs/cod_municipios.csv", header = T, sep = ";")
	codmun <- codmun %>% filter(ANO_ELEICAO == 2016)

	# do CEPESP: retorna apenas prefeitos eleitos em 2016

	# Força o encoding para UTF-8, default do banco de dados
	# Colaboração de Sérgio Spagnuolo ([email protected])
	# Programa acessar a API do Atlas da Notícia (https://www.atlas.jor.br/)
	# É necessário antes se cadastrar, veja como aqui: https://www.atlas.jor.br/plataforma/utilizarAPI/

	library(httr)
	library(jsonlite)

	# Puxa os dados da sua credencial
	token = content(

	# dados podem ser obtidos em: http://memoria.cnpq.br/painel-de-investimentos

	library(tidyverse)
	library(deflateBR)
	library(lubridate)

	d <- read.csv("cnpq_investimentos.csv", header = T)

	d$Ano.Referência <- gsub("206", "2006", d$Ano.Referência)
	d$ano <- as.Date(d$Ano.Referência, origin="2002-09-11", format = "%Y")

	library(tidyverse)

	# Distribuição de contribuintes previdenciários
	# ref http://dados.gov.br/dataset/estatisticas-contrib-pessoas-fisicas-por-uf/resource/6b498c82-dbd9-42b4-8a7e-d04967c6cff1
	# manual das colunas http://www.previdencia.gov.br/dados-abertos/aeps-2007-anuario-estatistico-da-previdencia-social-2007/anuario-estatistico-da-previdencia-social-2007-contribuintes-da-previdencia-social/

	d <- read.csv("CTB21.csv", header = T, fileEncoding = "ISO-8859-1", dec = ",")

	ufs_abrev <- c("Acre", "Alagoas", "Amazonas", "Amapá", "Bahia", "Ceará", "Distrito Federal", "Espírito Santo", "Goiás", "Maranhão", "Mato Grosso", "Mato Grosso do Sul", "Minas Gerais", "Pará", "Paraíba", "Paraná", "Pernambuco", "Piauí", "Rio de Janeiro", "Rio Grande do Norte", "Rondônia", "Rio Grande do Sul", "Roraima", "Santa Catarina", "Sergipe", "São Paulo", "Tocantins")
	ufs_siglas <- c("AC", "AL", "AM", "AP", "BA", "CE", "DF", "ES", "GO", "MA", "MT", "MS", "MG", "PA", "PB", "PR", "PE", "PI", "RJ", "RN", "RO", "RS", "RR", "SC", "SE", "S

	library(readxl)
	library(tidyverse)

	# Distribuição de Bolsas de Pós-graduação no Brasil
	# ref https://geocapes.capes.gov.br/geocapes/

	url <- "https://geocapes.capes.gov.br/geocapes/rest/fotoDados/indicador/1/false/download?[]"
	download.file(url, basename(url))
	d <- read_excel("download?[]")

	library(tidyverse)
	library(jsonlite)
	library(lubridate)
	library(deflateBR)
	library(scales)

	# contexto: http://www.agricultura.gov.br/noticias/decreto-permite-pagamento-do-seguro-defeso-aos-pescadores-afetados-pelo-oleo
	# http://www.portaltransparencia.gov.br/beneficios/consulta
	url1 <- "http://www.portaltransparencia.gov.br/beneficios/consulta/resultado?paginacaoSimples=false&tamanhoPagina=250000&offset=0&direcaoOrdenacao=desc&colunaOrdenacao=mesAno&de="
	url2 <- "&colunasSelecionadas=linkDetalhamento%2ClinguagemCidada%2CmesAno%2Cuf%2Cmunicipio%2Cvalor&_=1574703194664"