[WIP] mac 上で hadoop とか spark とか使って mapreduce するまで

memo.md

spark使ってmapreduceしたい！

目標

• どこか適当な場所にあるHDFSで持っているファイルに対してSpark使ってMapReduce

環境構築

hadoop

install

brew install hadoop

設定

homebrewの場合、/usr/local/Cellar/hadoop/2.2.0/libexec/etc/hadoop に core-site.xmlやらyarn-site.xmlやらmapred-site.xmlやらを配置する

core-site.xmlが変更されていたら

hadoop fs -ls /

とかでその設定されたところとかに見に行けるはず

なお

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

とか言われたけど、気にしない方向で行く

spark

download

ここからDownload binaries for Hadoop 2を落とす

install

落としたBinaryを適当なところに展開 ← 展開した場所をSPARK_HOMEとみなす ここでは /usr/local/spark と仮定

cd /usr/local/spark
./sbt/sbt assembly

hadoopのcore-site.xmlやらを SPARK_HOME/confにコピー