Scala Iterable [Tuple]をRDDに変換する

Question

Spark RDD）に変換したいタプル（String、String、Int、Double）のリストがあります。

一般に、a Scala Iterable [（a1、a2、a3、...、an）]をa Spark RDDに変換するにはどうすればよいですか？

Answer 1

これを行うにはいくつかの方法がありますが、最も簡単な方法はSpark Context：

import org.Apache.spark._
import org.Apache.spark.rdd._
import org.Apache.spark.SparkContext._

sc.parallelize(YourIterable.toList)

Sc.ParallelizeはListに変換する必要があると思いますが、構造は保持されるため、RDD [String、String、Int、Double]を取得できます。