web-dev-qa-db-ja.com

Spark可変引数を持つUDF

ドキュメントに示されているように、22までのすべての引数をリストする唯一のオプションですか？

https://spark.Apache.org/docs/1.5.0/api/scala/index.html#org.Apache.spark.sql.UDFRegistration

誰もがこれに似た何かをする方法を理解しましたか？

sc.udf.register("func", (s: String*) => s......

（nullをスキップするカスタムconcat関数を作成すると、同時に2つの引数が必要でした）

ありがとう

scalaapache-sparkudf
18
devopslife

UDFはvarargs *をサポートしていませんが、array関数を使用してラップされた任意の数の列を渡すことができます。

import org.Apache.spark.sql.functions.{udf, array, lit}

val myConcatFunc = (xs: Seq[Any], sep: String) => 
  xs.filter(_ != null).mkString(sep)

val myConcat = udf(myConcatFunc)

使用例：

val  df = sc.parallelize(Seq(
  (null, "a", "b", "c"), ("d", null, null, "e")
)).toDF("x1", "x2", "x3", "x4")

val cols = array($"x1", $"x2", $"x3", $"x4")
val sep = lit("-")

df.select(myConcat(cols, sep).alias("concatenated")).show

// +------------+
// |concatenated|
// +------------+
// |       a-b-c|
// |         d-e|
// +------------+

生のSQLの場合：

df.registerTempTable("df")
sqlContext.udf.register("myConcat", myConcatFunc)

sqlContext.sql(
    "SELECT myConcat(array(x1, x2, x4), '.') AS concatenated FROM df"
).show

// +------------+
// |concatenated|
// +------------+
// |         a.c|
// |         d.e|
// +------------+

もう少し複雑なアプローチは、UDFをまったく使用せず、次のようなものでSQL式を作成することです。

import org.Apache.spark.sql.functions._
import org.Apache.spark.sql.Column

def myConcatExpr(sep: String, cols: Column*) = regexp_replace(concat(
  cols.foldLeft(lit(""))(
    (acc, c) => when(c.isNotNull, concat(acc, c, lit(sep))).otherwise(acc)
  )
), s"($sep)?$$", "") 

df.select(
  myConcatExpr("-", $"x1", $"x2", $"x3", $"x4").alias("concatenated")
).show
// +------------+
// |concatenated|
// +------------+
// |       a-b-c|
// |         d-e|
// +------------+

pySparkを使用しない限り、努力する価値はないでしょう。

* varargsを使用して関数を渡すと、すべての構文糖からその関数が取り除かれ、結果のUDFはArrayTypeを期待します。例えば：

def f(s: String*) = s.mkString
udf(f _)

タイプになります：

UserDefinedFunction(<function1>,StringType,List(ArrayType(StringType,true)))
38
zero323