spark-utf8-encoding.py

# url의 파일을 유니코드 인코딩으로 읽음
textFile = sc.textFile("file_url", use_unicode=True)
# utf-8 인코딩을 이용하여 처리
counts = textFile.flatMap(lambda line: str(line.encode('utf-8')).split("\n"))\
          .map(lambda line: (line.split("\t")[0], 1))\
          .reduceByKey(lambda a, b: a + b)
# hdfs에 result 폴더에 저장
counts.saveAsTextFile("result")

Thanks you. It works！！！！