SparkでRDDをテキストファイルとしてファイル出力するサンプル。copyMergeがポイント。

SparkExample01.java

String tmpDir = "target/output_tmp";
String outputFile = "target/output.txt";

// clear
FileUtil.fullyDelete(new File(tmpDir));
FileUtil.fullyDelete(new File(outputFile));

// init spark config
SparkConf sparkConf = new SparkConf().setAppName("test").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(sparkConf);

// create RDD
JavaRDD rdd = sc.parallelize(Arrays.asList("a", "b", "c")).repartition(3);

// save as Hadoop file format
rdd.saveAsTextFile(tmpDir);

// merge as Plain file
FileSystem hdfs = FileSystem.get(sc.hadoopConfiguration());
FileUtil.copyMerge(hdfs, new Path(tmpDir), hdfs, new Path(outputFile), false, sc.hadoopConfiguration(), null);