web-dev-qa-db-ja.com

スレッド「メイン」の例外Java.lang.NoSuchMethodError：scala.Product。$ init $（Lscala / Product;）

このエラーが発生する理由は何ですか？最初はIDEプラグインScalaは2.12.3でしたが、Spark 2.2.0を使用しているため、手動でScala 2.11.11に変更しました。

Using Spark's default log4j profile: org/Apache/spark/log4j-defaults.properties
17/09/19 12:08:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
Exception in thread "main" Java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
    at scala.xml.Null$.<init>(Null.scala:23)
    at scala.xml.Null$.<clinit>(Null.scala)
    at org.Apache.spark.ui.jobs.AllJobsPage.<init>(AllJobsPage.scala:39)
    at org.Apache.spark.ui.jobs.JobsTab.<init>(JobsTab.scala:38)
    at org.Apache.spark.ui.SparkUI.initialize(SparkUI.scala:67)
    at org.Apache.spark.ui.SparkUI.<init>(SparkUI.scala:84)
    at org.Apache.spark.ui.SparkUI$.create(SparkUI.scala:221)
    at org.Apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:163)
    at org.Apache.spark.SparkContext.<init>(SparkContext.scala:452)
    at sparkEnvironment$.<init>(Ticket.scala:33)
    at sparkEnvironment$.<clinit>(Ticket.scala)
    at Ticket$.main(Ticket.scala:39)
    at Ticket.main(Ticket.scala)
scalaapache-sparkintellij-ideasbt
7
TheShark

Sparkが対応するScalaバージョンと互換性があることを確認してください

Scala version 2.12 series with Spark Offering Scala 2.11。

Scala with Sparkの2.11シリーズを使用してみてください。

libraryDependencies += "org.Apache.spark" % "spark-core_2.11" % "2.2.0"この依存関係でわかるように、spark-core_2.11はscala version 2.11に関連付けられています。

または、この依存関係を使用することもできますlibraryDependencies += "org.Apache.spark" %% "spark-core" % "2.2.0" scala version

これが明確であることを願っています

ありがとう

16
Akash Sethi