tsuda7

著者 の GitHub のソースコード：https://github.com/tomwhite/hadoop-book

ZooKeeper

Hadoop の分散コーディネーションサービスである ZooKeeper の紹介。

一般的に分散システムを構築するのは難しい。主な理由の一つに partial failure がある。

partial failure とはデータの送り元が、データが正しく送られたかどうかが分からないような状態を指す（通信中にネットワークに問題が生じた場合、送り主は受け手が正しくデータを受け取ったか分からない、など）。これは分散システムを構築する上で本質的に発生しうるもので、完全に解消したり隠蔽することはできない。

tsuda7

Chapter4 YARN

YARN (Yet Another Resource Negotiator) は Hadoop クラスタクラスタのリソース管理システムであり、Hadoop2 から MapReduce の実装を改善するために導入されたが、他の分散システムにおいても利用できる。

YARN は API を提供しているが、ユーザーが直接利用するものではなく、YARN の上に分散処理システムが構築される（図を参照）。

Anatomy of a YARN Application Run

YARN は 2つのデーモンを利用する：

tsuda7

• お膳立て
  • 環境は Vagrant から起動する CentOS
  • JDK7
  • Hadoop ディストリビューションは CDH

Chapter 1 "Hadoop の基礎知識"

Hadoop とは

一言で言うと…