Spark Scala：任务不可序列化错误

3 回答

• 4

  正如@TGaweda建议的那样，Spark的 SerializationDebugger 非常有助于识别"the serialization path leading from the given object to the problematic object."堆栈跟踪中"Serialization stack"之前的所有美元符号表示方法的容器对象是问题所在 .

  虽然最容易在容器类上使用 Serializable ，但我更喜欢利用Scala是一种函数式语言并将您的函数用作一等公民：

  sc.textFile("/home/ubuntu/data.txt",4).map { text =>
    val punctPattern = "[^a-zA-Z0-9\\s]".r
    punctPattern.replaceAllIn(text, "").toLowerCase
  }
  

  或者如果你真的想把事情分开：

  val removePunctuation: String => String = (text: String) => {
    val punctPattern = "[^a-zA-Z0-9\\s]".r
    punctPattern.replaceAllIn(text, "").toLowerCase
  }
  sc.textFile("/home/ubuntu/data.txt",4).map(removePunctuation)
  

  这些选项当然是 Regex is serializable，你应该确认 .

  在次要但非常重要的注意事项中，构造 Regex 是昂贵的，因此为了性能而将其从转换中分解出来 - 可能使用broadcast .

  回复于 2024-04-20T22:02:00+08:00
• 2

  阅读stacktrace，有：

  $ outer，类型：A $ A21 $ A $ A21

  这是一个非常好的提示 . 您的lambda是可序列化的，但您的类不可序列化 .

  当你创建lambda表达式时，这个表达式引用了外部类 . 您的案例中的外类不可序列化，即未实现Serializable或其中一个字段不是Serializable的实例

  回复于 2024-04-20T22:02:00+08:00
• 4

  正如T. Gaweda已经指出的那样，你're most likely defining your function in a class that'不可序列化 . 因为它是一个纯函数，即它不依赖于封闭类的任何上下文，我建议你把它放到一个应该扩展 Serializable 的伴随对象中 . 这将是Scala相当于Java静态方法：

  object Helper extends Serializable {
    def removePunctuation(text: String): String = {
      val punctPattern = "[^a-zA-Z0-9\\s]".r
      punctPattern.replaceAllIn(text, "").toLowerCase
    }
  }
  

  回复于 2024-04-20T22:02:00+08:00