私はScalaが初めてです。 「map」関数がシリアル化できないのはなぜですか?シリアライズ可能にする方法は?たとえば、私のコードが以下のような場合:
val data = sc.parallelize(List(1,4,3,5,2,3,5))
def myfunc(iter: Iterator[Int]) : Iterator[Int] = {
val lst = List(("a", 1),("b", 2),("c",3), ("a",2))
var res = List[Int]()
while (iter.hasNext) {
val cur = iter.next
val a = lst.groupBy(x => x._1).mapValues(_.size)
//val b= a.map(x => x._2)
res = res ::: List(cur)
}
res.iterator
}
data.mapPartitions(myfunc).collect
行のコメントを外した場合
val b= a.map(x => x._2)
コードは例外を返します。
org.Apache.spark.SparkException: Task not serializable
Caused by: Java.io.NotSerializableException: scala.collection.immutable.MapLike$$anon$2
Serialization stack:
- object not serializable (class: scala.collection.immutable.MapLike$$anon$2, value: Map(1 -> 3))
- field (class: $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC, name: a, type: interface scala.collection.immutable.Map)
どうもありがとうございました。
よく知られているscala bug: https://issues.scala-lang.org/browse/SI-7005 Map#mapValuesはシリアル化できません
Spark apps、map(identity)
は問題を解決します
rdd.groupBy(_.segment).mapValues(v => ...).map(identity)
MapValues関数の実際の実装を以下に示します。ご覧のとおり、シリアル化できず、データが適切に存在しないビューのみを作成するため、このエラーが発生します。状況に応じたmapValueには多くの利点があります。
protected class MappedValues[C](f: B => C) extends AbstractMap[A, C] with DefaultMap[A, C] {
override def foreach[D](g: ((A, C)) => D): Unit = for ((k, v) <- self) g((k, f(v)))
def iterator = for ((k, v) <- self.iterator) yield (k, f(v))
override def size = self.size
override def contains(key: A) = self.contains(key)
def get(key: A) = self.get(key).map(f)
}