web-dev-qa-db-ja.com

Scala 2.12 with Spark 2.x

Spark 2.1 docs では、

Sparkは、Java 7 +、Python 2.6 +/3.4 +およびR 3.1+で動作します。Scala API、 Spark 2.1.0はScala 2.11。を使用します。互換性のあるScalaバージョン（2.11.x）を使用する必要があります。

Scala 2.12 リリースニュース では、

Scala 2.11および2.12は、クロスビルドを容易にするためにほとんどのソース互換ですが、バイナリ互換ではありません。これにより、Scalaコンパイラおよび標準としょうかん。

しかし、（Scala 2.12を使用して）uber jarをビルドし、それをSpark 2.1で実行すると、すべて正常に動作します。

私は公式のソースではないことを知っていますが、 47度のブログ で、Spark 2.1はScala 2.12。

それらの（矛盾？）情報をどのように説明できますか？

scalaapache-sparkabibinary-compatibility
23
NetanelRabinowitz

Sparkdoes notsupport Scala 2.12。フォローできます SPARK-1422 （ビルドとテストSpark against Scala 2.12）を使用して最新のステータスを取得します。

update： Spark 2.4が追加されました 実験的Scala 2.12サポート。

35
user7735456

答えに追加するために、私はそれがタイプミスであると信じています https://spark.Apache.org/releases/spark-release-2-0-0.html はscala 2.12。

また、タイミングを見ると、Scala 2.12は2016年11月までリリースされず、Spark 2.0.0は2016年7月にリリースされました。

参照： https://spark.Apache.org/news/index.html

www.scala-lang.org/news/2.12.0/

0
denvercoder9