首页 文章

无法初始化spark上下文

提问于
浏览
0

我试图在Python中初始化Spark Context变量 .

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)

但我收到以下错误:

py4j.protocol.Py4JJavaError:调用None.org.apache.spark.api.java.JavaSparkContext时发生错误 . :java.lang.NoClassDefFoundError:无法在org.apache.spark.SparkContext中初始化类org.apache.spark.internal.config.package $ at org.apache.spark.SparkConf.validateSettings(SparkConf.scala:546) . ( SparkContext.scala:373)org.apache.spark.api.java.JavaSparkContext . (JavaSparkContext.scala:58)at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java) :62)在sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)在Py4j.reflection(Gen.java:236)的py4j.quest.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)上的py4j.reflection.Retway.invoke(Gateway.java:236)上的py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) . 在py4j.GatewayConnection.ru执行(ConstructorCommand.java:69) n(GatewayConnection.java:214)在java.lang.Thread.run(Thread.java:748)

我一直在寻找解决方案,但没有得到确切的解决方案 . 请帮忙 .

3 回答

  • 0

    SPARK_LOCAL_IP 环境变量设置为 localhost 解决了我的错误 .

  • 0

    请尝试将master称为“local [*]”而不仅仅是“local” .

  • 1

    你有这套吗?

    export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
    

    另外,为了确保,在spark目录中添加py4j zip(我的是py4j-0.10.1-src.zip)的路径为:

    export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH
    

相关问题