web-dev-qa-db-ja.com

Spark ScalaでのDataFrameの列名の変更

Spark-ScalaでDataFrameのすべてのヘッダ/カラム名を変換しようとしています。今のところ、私は単一の列名を置き換えるだけの次のようなコードを思い付きました。

for( i <- 0 to origCols.length - 1) {
  df.withColumnRenamed(
    df.columns(i), 
    df.columns(i).toLowerCase
  );
}
scalaapache-sparkdataframeapache-spark-sql
76
Sam

構造が平らな場合：

val df = Seq((1L, "a", "foo", 3.0)).toDF
df.printSchema
// root
//  |-- _1: long (nullable = false)
//  |-- _2: string (nullable = true)
//  |-- _3: string (nullable = true)
//  |-- _4: double (nullable = false)

あなたができる最も簡単なことはtoDFメソッドを使うことです：

val newNames = Seq("id", "x1", "x2", "x3")
val dfRenamed = df.toDF(newNames: _*)

dfRenamed.printSchema
// root
// |-- id: long (nullable = false)
// |-- x1: string (nullable = true)
// |-- x2: string (nullable = true)
// |-- x3: double (nullable = false)

個々の列の名前を変更したい場合は、selectとaliasのどちらかを使用できます。

df.select($"_1".alias("x1"))

これは簡単に複数の列に一般化することができます。

val lookup = Map("_1" -> "foo", "_3" -> "bar")

df.select(df.columns.map(c => col(c).as(lookup.getOrElse(c, c))): _*)

またはwithColumnRenamed：

df.withColumnRenamed("_1", "x1")

これはfoldLeftと共に使用して複数の列の名前を変更します。

lookup.foldLeft(df)((acc, ca) => acc.withColumnRenamed(ca._1, ca._2))

入れ子構造（structs）では、構造全体を選択して名前を変更することが考えられます。

val nested = spark.read.json(sc.parallelize(Seq(
    """{"foobar": {"foo": {"bar": {"first": 1.0, "second": 2.0}}}, "id": 1}"""
)))

nested.printSchema
// root
//  |-- foobar: struct (nullable = true)
//  |    |-- foo: struct (nullable = true)
//  |    |    |-- bar: struct (nullable = true)
//  |    |    |    |-- first: double (nullable = true)
//  |    |    |    |-- second: double (nullable = true)
//  |-- id: long (nullable = true)

@transient val foobarRenamed = struct(
  struct(
    struct(
      $"foobar.foo.bar.first".as("x"), $"foobar.foo.bar.first".as("y")
    ).alias("point")
  ).alias("location")
).alias("record")

nested.select(foobarRenamed, $"id").printSchema
// root
//  |-- record: struct (nullable = false)
//  |    |-- location: struct (nullable = false)
//  |    |    |-- point: struct (nullable = false)
//  |    |    |    |-- x: double (nullable = true)
//  |    |    |    |-- y: double (nullable = true)
//  |-- id: long (nullable = true)

nullabilityメタデータに影響するかもしれないことに注意してください。別の可能性はキャストによって名前を変更することです：

nested.select($"foobar".cast(
  "struct<location:struct<point:struct<x:double,y:double>>>"
).alias("record")).printSchema

// root
//  |-- record: struct (nullable = true)
//  |    |-- location: struct (nullable = true)
//  |    |    |-- point: struct (nullable = true)
//  |    |    |    |-- x: double (nullable = true)
//  |    |    |    |-- y: double (nullable = true)

または

import org.Apache.spark.sql.types._

nested.select($"foobar".cast(
  StructType(Seq(
    StructField("location", StructType(Seq(
      StructField("point", StructType(Seq(
        StructField("x", DoubleType), StructField("y", DoubleType)))))))))
).alias("record")).printSchema

// root
//  |-- record: struct (nullable = true)
//  |    |-- location: struct (nullable = true)
//  |    |    |-- point: struct (nullable = true)
//  |    |    |    |-- x: double (nullable = true)
//  |    |    |    |-- y: double (nullable = true)
210
zero323

PySparkバージョンに興味がある人のために（実際にはScalaでも同じです - 下記のコメントを参照してください）：

merchants_df_renamed = merchants_df.toDF(
    'merchant_id', 'category', 'subcategory', 'merchant')

merchants_df_renamed.printSchema()

結果：

root
| - merchant_id：整数（nullable = true）
| - category：string（null値= true）
| - サブカテゴリ：文字列（nullable = true）
| - merchant：string（nullable = true）

15
Tagar
def aliasAllColumns(t: DataFrame, p: String = "", s: String = ""): DataFrame =
{
  t.select( t.columns.map { c => t.col(c).as( p + c + s) } : _* )
}

明らかではない場合、これは現在の各列名に接頭辞と接尾辞を追加します。これは、同じ名前を持つ1つ以上の列を持つ2つの表があり、それらを結合したいが結果の表の列を明確にできる場合に便利です。 「通常の」SQLでこれを行うための同様の方法があれば、確かにいいでしょう。

4
Mylo Stone