私はScalaプログラミングで初めてです。これは私の質問です。各行の文字列の数を数える方法は?データフレームはArray [String]タイプの単一の列で構成されています。
friendsDF: org.Apache.spark.sql.DataFrame = [friends: array<string>]
size
関数を使用できます。
val df = Seq((Array("a","b","c"), 2), (Array("a"), 4)).toDF("friends", "id")
// df: org.Apache.spark.sql.DataFrame = [friends: array<string>, id: int]
df.select(size($"friends").as("no_of_friends")).show
+-------------+
|no_of_friends|
+-------------+
| 3|
| 1|
+-------------+
新しい列として追加するには:
df.withColumn("no_of_friends", size($"friends")).show
+---------+---+-------------+
| friends| id|no_of_friends|
+---------+---+-------------+
|[a, b, c]| 2| 3|
| [a]| 4| 1|
+---------+---+-------------+