首页 文章

Scala：当项目包括Akka时Spark异常

提问于
浏览 次
1

我有一个使用spark的项目，我想在其中使用Akka . 该项目之前工作正常，但当我将其添加到 build.sbt 时：

libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.3"

并尝试运行该项目，我收到此错误：

[error]（run-main-0）org.apache.spark.SparkException：作业因阶段失败而中止：任务序列化失败：java.lang.ClassNotFoundException：scala.Function0 [error] java.lang.ClassNotFoundException：scala . 函数0 [错误] at sbt.classpath.ClasspathFilter.loadClass（ClassLoaders.scala：63）[error] at java.lang.ClassLoader.loadClass（ClassLoader.java:357）[error] at java.lang.Class.forName0（Native方法）[错误]在java.lang.Class.forName（Class.java:348）[错误]在com.twitter.chill.KryoBase $$ anonfun $ 1.apply（KryoBase.scala：41）[错误]在com . twitter.chill.KryoBase $$ anonfun $ 1.apply（KryoBase.scala：41）[error] at scala.collection.TraversableLike $$ anonfun $ map $ 1.apply（TraversableLike.scala：234）[error] at scala.collection . TraversableLike $$ anonfun $ map $ 1.apply（TraversableLike.scala：234）[error] at scala.collection.immutable.Range.foreach（Range.scala：160）[error] at scala.collection.TraversableLike $ class.map（ TraversableLike.scala：234）[error] at scala.collection.AbstractTraversable.map（ Traversable.scala：104）[错误]在com.twitter.chill.KryoBase . （KryoBase.scala：41）

有任何想法吗？

scala apache-spark akka

1 回答

  • 1

    有了这样的build.sbt

    scalaVersion := "2.11.11"
libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.3"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.0"

    Akka的HelloWorld和Spark的WordCount都很好 . Akka可以使用2.10-2.12，但Spark可以使用2.10-2.11 . 没有代码示例和build.sbt，很难说更多 .

    回复于

相关问题