Spark dataframe and dataset

spark_dataframe.md

ListからDataSet, DataFrame作成

• create dataframe

val ds = List(1,2).toDS
# org.apache.spark.sql.Dataset[Int] = [value: int]

val df = List(1,2).toDF
# org.apache.spark.sql.DataFrame = [value: int]

DataFrame, RDDの差分

• dataframe diff

exceptを使用する。左辺の差分

df1.except(df2)

• rdd

subtractを使用する

rdd.subtract(rdd2)

Nanを除外

df.na.drop()

ALSでNaNが出てくる

訓練データにそもそものUserItemもしくわProductItemが存在しないため

DataFrame JOIN

df.join(df2, $"df.id" === $"df2.id", "left_join")

桁あふれをcast

df.select($"rating".cast(DecimalType(18, 5))