Data Engineer – BI Deployment Assignment

de_bi_deployment.md

1. Установить Metabase

Использовать виртуальную машину и Docker в Yandex.Cloud

2. Подключиться к источнику данных

Использовать любой доступный источник данных:

• Jaffle shop (postgres) из занятия по dbt
• Любой датасет из блока Data Lake
• ClickHouse Playground: https://clickhouse.tech/docs/en/getting-started/playground/
• Любой другой

3. Создать дашборд

• Нескольо видов визуализации (таблицы, графики, числа)
• Фильтры
• Блок с комментариями

Выслать скриншоты своего дашборда с комментариями

metabase_setup.sh

# Начало работы с интерфейсом командной строки
# Install: https://cloud.yandex.ru/docs/cli/quickstart#install
# Init profile: https://cloud.yandex.ru/docs/cli/quickstart#initialize

yc config list # check 

# Подключиться к виртуальной машине Linux по SSH
# Создание пары ключей SSH: https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#creating-ssh-keys

ls ~/.ssh/id_rsa.pub # check

# Создать виртуальную машину из публичного образа Linux
# https://cloud.yandex.ru/docs/compute/operations/vm-create/create-linux-vm

# проверьте путь до файла с публичным ключом
yc compute instance create \
    --name airbyte-vm \
    --ssh-key ~/.ssh/key.pub \
    --create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts,size=10,auto-delete=true \
    --network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4 \
    --memory 2G \
    --cores 2 \
    --hostname airbyte-vm


yc compute instance list # check
# Запишите публичный адрес ВМ – EXTERNAL IP

# Подключение к виртуальной машине
# https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#vm-connect

ssh -L 3000:localhost:3000 -i ~/.ssh/key [email protected] # укажите свой EXTERNAL IP

# If you get this:
# Permissions 0644 for '.../key.pub' are too open.
# It is required that your private key files are NOT accessible by others.
# Then change permissions: https://stackoverflow.com/questions/9270734/ssh-permissions-are-too-open-error

sudo chmod 600 ~/.ssh/key.pem
sudo chmod 600 ~/.ssh/key.pub
sudo chmod 755 ~/.ssh

# Install docker

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add --
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo usermod -a -G docker $USER

# Install docker-compose

sudo apt-get -y install wget
sudo wget https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) -O /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

# Install Metabase

docker run -d -p 3000:3000 --name metabase metabase/metabase

# Done
# Access at http://localhost:3000/