web-dev-qa-db-ja.com

Spark dataframe get column value to string variable

コードのどこかで値を使用できるように、列の値を変数に抽出しようとしています。私は次のようにしようとしています

 val name= test.filter(test("id").equalTo("200")).select("name").col("name")

返す

 name org.Apache.spark.sql.Column = name

値を取得する方法？

scalaapache-sparkdataframeapache-spark-sql
14
G G

col("name")は列式を提供します。列「name」からデータを抽出する場合は、col("name")なしで同じことを実行します。

val names = test.filter(test("id").equalTo("200"))
                .select("name")
                .collectAsList() // returns a List[Row]

次に、行の場合、次の方法で文字列の名前を取得できます。

val name = row.getString(0)
19
Yuan JI
val maxDate = spark.sql("select max(export_time) as export_time from  tier1_spend.cost_gcp_raw").first()

val rowValue = maxDate.get(0)
1
Rajiv Singh