web-dev-qa-db-ja.com

spark dataframe to Array [String]に変換します

ScalaでSpark dataframeをArray [String]に変換する方法を教えてください。

以下を使用しました。

x =df.select(columns.head, columns.tail: _*).collect()

上記のスニペットは、Array [String]ではなくArray [Row]を提供します

scalaapache-sparkspark-dataframe
9
Bharath

これでうまくいくはずです：

df.select(columns: _*).collect.map(_.toSeq)
9
Sohum Sachdev

DataFrame to Array [String]

data.collect.map(_.toSeq).flatten

以下を使用することもできます

data.collect.map(row=>row.getString(0))

さらに列がある場合は、最後の列を使用することをお勧めします

 data.rdd.map(row=>row.getString(0)).collect
2
loneStar

答えは、cricket_007という名前のユーザーによって提供されました。以下を使用して、Array [Row]をArray [String]に変換できます。

x =df.select(columns.head, columns.tail: _*).collect().map { row => row.toString() }

ありがとう、バラス

0
Bharath