virtualbox-cdh.md

Cloudera CDHの手動インストールとVMクラスタ構築方法

Configuration

• master (namenode, service): cdh-vm1.local
• slave (datanode, worker): cdh-vm2.local, cdh-vm3.local
• VM: CentOS 7.2 VirtualBox 4Cores 8GB RAM

Prerequisites

• 固定IPの設定（VBのBridge Networkを利用）
• /etc/hosts の編集

<ipaddr 1>    cdh-vm1.local    cdh-vm1
<ipaddr 2>    cdh-vm2.local    cdh-vm2
<ipaddr 3>    cdh-vm3.local    cdh-vm3

• /etc/yum.conf 内での プロキシサーバーの設定

• SELinuxの停止（※安全だといえる環境なら…）

  • sed -i -e 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
  • reboot

• Firewalldの停止（※安全だといえる環境なら…）

  • systemctl stop firewalld
  • systemctl disable firewalld

• セットアップ用ユーザーの作成

  • パスワードを同一のものを使う場合: Superuserもしくは、パスワードレスでsudoが利用できるユーザーを作成
    • /etc/ssh/ssh_config
      • StrictHostKeyChecking no
  • 公開鍵認証を使う場合: ssh-keygen enter x 2 cp .ssh/id_rsa.pub .ssh/authorized_keys
    • /etc/ssh/sshd_config
      • PubkeyAuthentication yes

• VMのリンククローンを行う。

  • MACアドレスはリセットしておく。

… ここまでをVagrant + Ansibleで構築すると楽。

Step1 Cloudera CDHの入手

Download CDH 5.8.0 をよく読む

特に、一番簡単なのは、 Installation Path A - Automated Installation by Cloudera Manager (Non-Production Mode) 以下の流れとなる。

• master への Cloudera Managerのインストール
• master の Cloudera Manager から、slave へのCDH5.8インストール

master への Cloudera Managerのインストール

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin

slave への CDHインストール

• VMを全機立ち上げる
• master上で、ブラウザから cdh-vm1:7180/cmf/login へアクセスする
• ライセンス条項を読み、同意
• 無償版（Express）、有償版（Enterprise）トライアルなどの選択肢が表示されるが、今回は無償版のExpressを選択
• クラスタのセットアップのために、クラスタに含まれる全ノード（masterも含む）を選択する
• インストール方法は以下の２つ。後者がおすすめ、とあるが、頻繁にアップデートしない環境の場合、前者でもよい。今回は、色々な都合で前者を選択。
  • Package manager 経由 （RPM, DEB）
  • Cloudera Percel での配布
• Oracle JDKのインストールに☑を入れる。
• インストールに使用するユーザーの設定
  • root もしくは NOPASSWD 設定の sudoerユーザー
  • 共通パスワードもしくは公開鍵を指定する
• 全ノードでManagerおよびCDHのインストールが行われる
• どのServiceを利用するか選択する
• どのノードをどの役割（Role）に割り当てるか選択する
  • 今回は初期設定のまま
• 各種Serviceの詳細設定
  • 今回は初期設定のまま
• セットアップ状況の検証
• 完了