重複キー[("a","b"),("c","d"),("a","f")]
を持つタプルのリストをマップ("a" -> ["b", "f"], "c" -> ["d"])
に変換する素敵な方法を考えていました。通常(pythonで)、空のマップを作成し、リストをforループして、重複キーをチェックします。しかし、私はここでよりスカラー的で賢い解決策を探しています。
ところで、ここで使用する実際のキー値のタイプは(Int, Node)
であり、(Int -> NodeSeq)
のマップに変換したい
グループ化してからプロジェクト:
scala> val x = List("a" -> "b", "c" -> "d", "a" -> "f")
//x: List[(Java.lang.String, Java.lang.String)] = List((a,b), (c,d), (a,f))
scala> x.groupBy(_._1).map { case (k,v) => (k,v.map(_._2))}
//res1: scala.collection.immutable.Map[Java.lang.String,List[Java.lang.String]] = Map(c -> List(d), a -> List(b, f))
there (skip map f
ステップ)。
重複を期待していない、または デフォルトの重複処理ポリシー で問題がないGoogle社員向け:
List("a" -> 1, "b" -> 2).toMap
// Result: Map(a -> 1, c -> 2)
2.12現在、デフォルトポリシーは次のようになっています。
重複したキーは後のキーで上書きされます。これが順序付けられていないコレクションである場合、結果のマップにあるキーは未定義です。
別の代替手段を次に示します。
x.groupBy(_._1).mapValues(_.map(_._2))
重複を気にするGoogle社員の場合:
implicit class Pairs[A, B](p: List[(A, B)]) {
def toMultiMap: Map[A, List[B]] = p.groupBy(_._1).mapValues(_.map(_._2))
}
> List("a" -> "b", "a" -> "c", "d" -> "e").toMultiMap
> Map("a" -> List("b", "c"), "d" -> List("e"))
_Scala 2.13
_以降、ほとんどのコレクションは groupMap メソッドで提供されます。これは(名前が示すように)groupBy
の後にmapValues
:
_List("a" -> "b", "c" -> "d", "a" -> "f").groupMap(_._1)(_._2)
// Map[String,List[String]] = Map(a -> List(b, f), c -> List(d))
_
この:
タプルの最初の部分に基づくgroup
s要素(groupMapのグループ部分)
map
sは、2番目のタプル部分(groupMapのマップ部分)によって値をグループ化しました
これはlist.groupBy(_._1).mapValues(_.map(_._2))
と同等ですが、 1回のパスで実行 リストを使用します。
以下にいくつかのソリューションがあります。(GroupBy、FoldLeft、Aggregate、Spark)
val list: List[(String, String)] = List(("a","b"),("c","d"),("a","f"))
GroupByバリエーション
list.groupBy(_._1).map(v => (v._1, v._2.map(_._2)))
左折パターン
list.foldLeft[Map[String, List[String]]](Map())((acc, value) => {
acc.get(value._1).fold(acc ++ Map(value._1 -> List(value._2))){ v =>
acc ++ Map(value._1 -> (value._2 :: v))
}
})
バリエーションの集約-左折に類似
list.aggregate[Map[String, List[String]]](Map())(
(acc, value) => acc.get(value._1).fold(acc ++ Map(value._1 ->
List(value._2))){ v =>
acc ++ Map(value._1 -> (value._2 :: v))
},
(l, r) => l ++ r
)
スパークバリエーション-ビッグデータセットの場合(RDDおよびRDDからのプレーンマップへの変換)
import org.Apache.spark.rdd._
import org.Apache.spark.{SparkContext, SparkConf}
val conf: SparkConf = new
SparkConf().setAppName("Spark").setMaster("local")
val sc: SparkContext = new SparkContext (conf)
// This gives you a rdd of the same result
val rdd: RDD[(String, List[String])] = sc.parallelize(list).combineByKey(
(value: String) => List(value),
(acc: List[String], value) => value :: acc,
(accLeft: List[String], accRight: List[String]) => accLeft ::: accRight
)
// To convert this RDD back to a Map[(String, List[String])] you can do the following
rdd.collect().toMap
タプルのリストを重複キーを処理するマップに変換するためのより多くのScala慣用的な方法があります。折り畳みを使用したいです。
val x = List("a" -> "b", "c" -> "d", "a" -> "f")
x.foldLeft(Map.empty[String, Seq[String]]) { case (acc, (k, v)) =>
acc.updated(k, acc.getOrElse(k, Seq.empty[String]) ++ Seq(v))
}
res0: scala.collection.immutable.Map[String,Seq[String]] = Map(a -> List(b, f), c -> List(d))
これを試すことができます
scala> val b = new Array[Int](3)
// b: Array[Int] = Array(0, 0, 0)
scala> val c = b.map(x => (x -> x * 2))
// c: Array[(Int, Int)] = Array((1,2), (2,4), (3,6))
scala> val d = Map(c : _*)
// d: scala.collection.immutable.Map[Int,Int] = Map(1 -> 2, 2 -> 4, 3 -> 6)