web-dev-qa-db-ja.com

groupbyを使用したpyspark collect_setまたはcollect_list

groupbyの後のデータフレームでcollect_setまたはcollect_listを使用するにはどうすればよいですか。例：df.groupby('key').collect_set('values')。エラーが表示されます：AttributeError: 'GroupedData' object has no attribute 'collect_set'

listgroup-bysetpysparkcollect
40
Hanan Shteingart

Aggを使用する必要があります。例：

from pyspark import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql import functions as F

sc = SparkContext("local")

sqlContext = HiveContext(sc)

df = sqlContext.createDataFrame([
    ("a", None, None),
    ("a", "code1", None),
    ("a", "code2", "name2"),
], ["id", "code", "name"])

df.show()

+---+-----+-----+
| id| code| name|
+---+-----+-----+
|  a| null| null|
|  a|code1| null|
|  a|code2|name2|
+---+-----+-----+

上記では、HiveContextを作成する必要があることに注意してください。異なるSparkバージョンの処理については、 https://stackoverflow.com/a/35529093/6904 を参照してください。

(df
  .groupby("id")
  .agg(F.collect_set("code"),
       F.collect_list("name"))
  .show())

+---+-----------------+------------------+
| id|collect_set(code)|collect_list(name)|
+---+-----------------+------------------+
|  a|   [code1, code2]|           [name2]|
+---+-----------------+------------------+
62
ksindi