web-dev-qa-db-ja.com

PySpark：別の列値が条件を満たす場合に列値を変更する

Idとrankの2つの列を持つPySpark Dataframeがあり、

+---+----+
| Id|Rank|
+---+----+
|  a|   5|
|  b|   7|
|  c|   8|
|  d|   1|
+---+----+

各行について、ランクが5より大きい場合、IDを「その他」に置き換えたいと考えています。

説明するために擬似コードを使用する場合：

For row in df:
  if row.Rank>5:
     then replace(row.Id,"other")

結果は次のようになります。

+-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+

これを達成する方法の手がかりはありますか？ありがとう!!!

このデータフレームを作成するには：

df = spark.createDataFrame([('a',5),('b',7),('c',8),('d',1)], ["Id","Rank"])
apache-sparkpysparkapache-spark-sqlspark-dataframepyspark-sql
10
Yuehan Lyu

whenとotherwiseのように使用できます-

from pyspark.sql.functions import *

df\
.withColumn('Id_New',when(df.Rank <= 5,df.Id).otherwise('other'))\
.drop(df.Id)\
.select(col('Id_New').alias('Id'),col('Rank'))\
.show()

これにより、出力が-

+-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+
22
Pushkr