首页 文章

安装Anaconda3，jupyter笔记本出错没有模块名为'pyspark'

提问于
浏览 次
0

我一直在stackoverflow和其他地方搜索我现在看到的错误并尝试了一些“答案”，没有人在这里工作（我会继续搜索并在这里更新）：

我安装了新的Ubuntu和Anaconda3，安装了Spark 2：

Anaconda3：/ home / rxie / anaconda Spark2：/ home / rxie / Downloads / spark

我能够启动Jupyter Notebook，但无法创建SparkSession：

from pyspark.conf import SparkConf

来自pyspark.conf的（）----> 1中的ModuleNotFoundError Traceback（最近一次调用last）导入SparkConf ModuleNotFoundError：没有名为'pyspark'的模块

这是我在.bashrc中的环境：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SPARK_HOME=/home/rxie/spark/
export SBT_HOME=/usr/share/sbt/bin/sbt-launch.jar
export SCALA_HOME=/usr/local/src/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH
export PATH=$SPARK_HOME/bin:$PATH
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin

# added by Anaconda3 installer
export PATH="/home/rxie/anaconda3/bin:$PATH"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

在jupyter笔记本中导入SparkConf有什么问题？

非常感谢，如果有人能用任何光线照亮我，非常感谢你 .

python apache-spark pyspark jupyter-notebook

3 回答

  • 0

    随着最终的PATH如下，笔记本开始按预期工作：

    $ echo $PATH
/usr/lib64/qt-.3/bin:/home/rxie/perl5/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin

    和：

    echo $PYSPARK_DRIVER_PYTHON
jupyter
echo $PYSPARK_DRIVER_PYTHON_OPTS
notebook
    回复于
  • 0

    出于某种原因，当与Anaconda一起安装时，jupyter无法正常工作 . 我是同样的问题，我解决了它在虚拟环境中重新安装jupyter包 .

    在您的虚拟环境中执行：

    pip install jupyter
    回复于
  • 0

    如果你在python中，则需要初始化你的spark会话

    import os
import sys
spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.10.4-src.zip'))
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

    上面是我的代码，您可能需要在spark安装中找到相应的库并替换上面的路径 .

    如果幸运的话，你会看到类似的东西

    Python 2.7.13 |Anaconda, Inc.| (default, Sep 22 2017, 00:47:24)
[GCC 7.2.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.2.1-mapr-1803
      /_/

Using Python version 2.7.13 (default, Sep 22 2017 00:47:24)
SparkSession available as 'spark'.
>>> from pyspark.conf import SparkConf
>>> SparkConf
<class 'pyspark.conf.SparkConf'>
>>>
    回复于

相关问题