fclesio

lista_funcionarios <-
  c('Nikola','Marie','Albert',
    'John','Josh','Hans',
    'Karl','Ludwig','Gustav',
    'Tom')

lista_salarios <-
  c(19000, 2700, 3800,
    4700, 5900, 6700,
    7000, 33000, 7500,

fclesio

install.packages("gsl")
install.packages("devtools")
devtools::install_github("brubinstein/diffpriv")

library(diffpriv)
library(gsl)

fclesio

import awswrangler as wr
import pandas as pd

df = pd.DataFrame({"id": [1, 2], "value": ["foo", "boo"]})

# Armazenando os dados no Data Lake
wr.s3.to_parquet(
    df=df,
    path="s3://bucket/dataset/",
    dataset=True,

fclesio

analysis:
  image: data_science_analysis
  container_name: data_science_analysis
  restart: always
  environment:
    - ENV_VAR_1=${ENV_VAR_1}
    - ENV_VAR_2=${ENV_VAR_2}
  hostname: '0.0.0.0'
  ports:
     - "8888:8888"

fclesio

__pycache__
*.pyc
*.pyo
*.pyd
.Python
env
.tox
.coverage
.coverage.*
nosetests.xml

fclesio

https://github.com/igorbarinov/awesome-data-engineering

- 1) Databases
	- SQL ANSI/92
	- Relacional: Plano de execução, sistema de caching, indexação, fragmentação de indices, sistema de locking (isolamento de transações) e demais propriedades. PostgreSQL/MySQL e SQLite (https://www.sqlite.org/quirks.html)
	- Saber em alto nivel caracteristicas e alguns bancos de dados: Key-Value, Colunar e Documento
	- Estudo: Escolher um banco de dados de um desses tipos e ir um pouco mais a fundo. Ex: Redis (https://github.com/fclesio/learning-space/blob/master/Redis/aula-redis.aula) 

- 2) Batch Processing
	- Saber em algo nivel as diferenças entre ferramentas

fclesio

FROM python:3.6-buster

RUN apt-get update -y \
    && apt-get install -y python3-dev python3-pip build-essential \
    && apt-get install gcc -y \
    && apt-get clean

COPY requirements.txt /requirements.txt

RUN pip3 install --upgrade pip

fclesio

jupyter==1.0.0
setuptools==41.0.1
matplotlib==3.0.3
pandas==1.0.5
numpy==1.19.0
boto3==1.14.19
s3fs==0.4.2
PyMySQL==0.10.1
sklearn==0.0

fclesio

(() => {
  let count = 0;

  function getAllButtons() {
    return document.querySelectorAll('button.is-following') || [];
  }

  async function unfollowAll() {
    const buttons = getAllButtons();

fclesio

#!/usr/bin/env python
# coding: utf-8

# In[2]:


# Vamos importar apenas a biblioteca de load do Joblib
from joblib import load