web-dev-qa-db-ja.com

Apache Spark移動平均

HDFSには、時系列データポイント（Yahoo株価）を持つ巨大なファイルがあります。

時系列の移動平均を見つけたいのですが、Apache Sparkの仕事を書くにはどうすればいいですか。

time-serieshdfsmoving-averageapache-spark
36
Ahmed Shabib

おそらく、ダニエルの答えと同じことを行うMLLIBのスライディング関数を使用できます。スライド機能を使用する前に、時間でデータを並べ替える必要があります。

import org.Apache.spark.mllib.rdd.RDDFunctions._

sc.parallelize(1 to 100, 10)
  .sliding(3)
  .map(curSlice => (curSlice.sum / curSlice.size))
  .collect()
29
Arvind

移動平均は、Sparkおよび分散システムにとって厄介な問題です。データが複数のマシンに分散している場合、パーティションをまたぐ時間枠があります。パーティションごとに移動平均を計算すると完全なカバレッジが得られるように、パーティションの開始時にデータを複製する必要があります。

Sparkでこれを行う方法を次に示します。サンプルデータ：

val ts = sc.parallelize(0 to 100, 10)
val window = 3

キーで指定したパーティションに各行を配置するシンプルなパーティショナー：

class StraightPartitioner(p: Int) extends org.Apache.spark.Partitioner {
  def numPartitions = p
  def getPartition(key: Any) = key.asInstanceOf[Int]
}

最初のwindow - 1行を前のパーティションにコピーしてデータを作成します。

val partitioned = ts.mapPartitionsWithIndex((i, p) => {
  val overlap = p.take(window - 1).toArray
  val spill = overlap.iterator.map((i - 1, _))
  val keep = (overlap.iterator ++ p).map((i, _))
  if (i == 0) keep else keep ++ spill
}).partitionBy(new StraightPartitioner(ts.partitions.length)).values

各パーティションの移動平均を計算するだけです：

val movingAverage = partitioned.mapPartitions(p => {
  val sorted = p.toSeq.sorted
  val olds = sorted.iterator
  val news = sorted.iterator
  var sum = news.take(window - 1).sum
  (olds Zip news).map({ case (o, n) => {
    sum += n
    val v = sum
    sum -= o
    v
  }})
})

セグメントが重複しているため、カバレッジにギャップはありません。

scala> movingAverage.collect.sameElements(3 to 297 by 3)
res0: Boolean = true
22
Daniel Darabos

Spark 1.4でウィンドウ関数が導入されました は、次のように移動平均を実行できることを意味しますrowsBetweenでウィンドウを調整します。

val schema = Seq("id", "cykle", "value")
 val data = Seq(
        (1, 1, 1),
        (1, 2, 11),
        (1, 3, 1),
        (1, 4, 11),
        (1, 5, 1),
        (1, 6, 11),
        (2, 1, 1),
        (2, 2, 11),
        (2, 3, 1),
        (2, 4, 11),
        (2, 5, 1),
        (2, 6, 11)
      )

val dft = sc.parallelize(data).toDF(schema: _*)

dft.select('*).show

// PARTITION BY id  ORDER BY cykle ROWS BETWEEN 2 PRECEDING AND 2 FOLLOWING (5)
val w = Window.partitionBy("id").orderBy("cykle").rowsBetween(-2, 2)

val x = dft.select($"id",$"cykle",avg($"value").over(w))
x.show

出力（ツェッペリン）：

schema: Seq[String] = List(id, cykle, value)
data: Seq[(Int, Int, Int)] = List((1,1,1), (1,2,11), (1,3,1), (1,4,11), (1,5,1), (1,6,11), (2,1,1), (2,2,11), (2,3,1), (2,4,11), (2,5,1), (2,6,11))
dft: org.Apache.spark.sql.DataFrame = [id: int, cykle: int, value: int]
+---+-----+-----+
| id|cykle|value|
+---+-----+-----+
|  1|    1|    1|
|  1|    2|   11|
|  1|    3|    1|
|  1|    4|   11|
|  1|    5|    1|
|  1|    6|   11|
|  2|    1|    1|
|  2|    2|   11|
|  2|    3|    1|
|  2|    4|   11|
|  2|    5|    1|
|  2|    6|   11|
+---+-----+-----+
w: org.Apache.spark.sql.expressions.WindowSpec = org.Apache.spark.sql.expressions.WindowSpec@55cd666f
x: org.Apache.spark.sql.DataFrame = [id: int, cykle: int, 'avg(value) WindowSpecDefinition ROWS BETWEEN 2 PRECEDING AND 2 FOLLOWING: double]
+---+-----+-------------------------------------------------------------------------+
| id|cykle|'avg(value) WindowSpecDefinition ROWS BETWEEN 2 PRECEDING AND 2 FOLLOWING|
+---+-----+-------------------------------------------------------------------------+
|  1|    1|                                                        4.333333333333333|
|  1|    2|                                                                      6.0|
|  1|    3|                                                                      5.0|
|  1|    4|                                                                      7.0|
|  1|    5|                                                                      6.0|
|  1|    6|                                                        7.666666666666667|
|  2|    1|                                                        4.333333333333333|
|  2|    2|                                                                      6.0|
|  2|    3|                                                                      5.0|
|  2|    4|                                                                      7.0|
|  2|    5|                                                                      6.0|
|  2|    6|                                                        7.666666666666667|
+---+-----+————————————————————————————————————+
15
oluies