PySpark Map Transform for Null Counts

map_null_count.py

df.select(
     F.array(
         F.create_map(
             F.lit("k1"), F.col("c1"), F.lit("k2"), F.col("c2"), F.lit("k3"), F.col("c3")
         )
     ).alias("losing_bids")
 ).select(
     F.transform(
         "losing_bids",
         lambda m: F.transform_values(m, lambda k, v: v.isNull().cast("integer")),
     ).alias("nulls_in_maps")
 ).select(
     F.transform(
         "nulls_in_maps",
         lambda x: F.aggregate(F.map_values(x), F.lit(0.0), lambda acc, y: acc + y),
     )
     .getItem(0)
     .cast("integer")
     .alias("total_nulls")
 ).show(
     truncate=False
 )