spark複数の列にわたるデータフレームにカスタム集計関数を指定する方法があるかどうか疑問に思っていました。
タイプ(名前、アイテム、価格)のこのようなテーブルがあります。
john | tomato | 1.99
john | carrot | 0.45
bill | Apple | 0.99
john | banana | 1.29
bill | taco | 2.59
に:
私はアイテムを集約したいと思います、そしてそれはこのようなリストに各人の費用です:
john | (tomato, 1.99), (carrot, 0.45), (banana, 1.29)
bill | (Apple, 0.99), (taco, 2.59)
これはデータフレームで可能ですか?私は最近collect_list
が、1つの列でのみ機能するようです。
DataFrame
としてこれを行う最も簡単な方法は、最初に2つのリストを収集してから、2つのリストを一緒にUDF
からZip
使用することです。何かのようなもの:
import org.Apache.spark.sql.functions.{collect_list, udf}
import sqlContext.implicits._
val zipper = udf[Seq[(String, Double)], Seq[String], Seq[Double]](_.Zip(_))
val df = Seq(
("john", "tomato", 1.99),
("john", "carrot", 0.45),
("bill", "Apple", 0.99),
("john", "banana", 1.29),
("bill", "taco", 2.59)
).toDF("name", "food", "price")
val df2 = df.groupBy("name").agg(
collect_list(col("food")) as "food",
collect_list(col("price")) as "price"
).withColumn("food", zipper(col("food"), col("price"))).drop("price")
df2.show(false)
# +----+---------------------------------------------+
# |name|food |
# +----+---------------------------------------------+
# |john|[[tomato,1.99], [carrot,0.45], [banana,1.29]]|
# |bill|[[Apple,0.99], [taco,2.59]] |
# +----+---------------------------------------------+
リストとして収集する前に、struct
関数を使用して列をグループ化することを検討してください。
import org.Apache.spark.sql.functions.{collect_list, struct}
import sqlContext.implicits._
val df = Seq(
("john", "tomato", 1.99),
("john", "carrot", 0.45),
("bill", "Apple", 0.99),
("john", "banana", 1.29),
("bill", "taco", 2.59)
).toDF("name", "food", "price")
df.groupBy($"name")
.agg(collect_list(struct($"food", $"price")).as("foods"))
.show(false)
出力:
+----+---------------------------------------------+
|name|foods |
+----+---------------------------------------------+
|john|[[tomato,1.99], [carrot,0.45], [banana,1.29]]|
|bill|[[Apple,0.99], [taco,2.59]] |
+----+---------------------------------------------+
おそらく、Zip
関数(DFとUDAFはパフォーマンスに非常に悪いため)よりも良い方法は、2つの列をStruct
にラップすることです。
これもおそらく機能します:
df.select('name, struct('food, 'price).as("Tuple"))
.groupBy('name)
.agg(collect_list('Tuple).as("tuples"))
データフレームをMapのRDDに変換し、groupByKey
を呼び出すオプションがあります。結果は、値がタプルのリストであるキーと値のペアのリストになります。
df.show
+----+------+----+
| _1| _2| _3|
+----+------+----+
|john|tomato|1.99|
|john|carrot|0.45|
|bill| Apple|0.99|
|john|banana|1.29|
|bill| taco|2.59|
+----+------+----+
val tuples = df.map(row => row(0) -> (row(1), row(2)))
tuples: org.Apache.spark.rdd.RDD[(Any, (Any, Any))] = MapPartitionsRDD[102] at map at <console>:43
tuples.groupByKey().map{ case(x, y) => (x, y.toList) }.collect
res76: Array[(Any, List[(Any, Any)])] = Array((bill,List((Apple,0.99), (taco,2.59))), (john,List((tomato,1.99), (carrot,0.45), (banana,1.29))))