首页 文章

使用IPython和Jupyter笔记本运行Spark应用程序

提问于
浏览 次
1

我正在尝试使用these instructions安装Jupyter .

我已经在Anaconda下安装了当我尝试运行pyspark时（从使用PySpark启动笔记本部分）我收到以下错误：

$ pyspark Traceback（最近一次调用最后一次）：文件“/ opt / cloudera / parcels / Anaconda / bin / jupyter”，第4行，来自jupyter_core.command import main ImportError：没有名为jupyter_core.command的模块

hadoop pyspark

1 回答

  • 1

    在特定目录中创建一个脚本，执行将使用pyspark登录到jupyte

    ！/ bin / bash

    导出PYSPARK_DRIVER_PYTHON = / opt / cloudera / parcels / Anaconda / bin / jupyter export PYSPARK_DRIVER_PYTHON_OPTS =“notebook --NotebookApp.open_browser = False --NotebookApp.ip ='*' - NotebookApp.port = 8880”export PATH = / opt / cloudera / parcels / Anaconda / bin：$ PATH pyspark

    去http://host-name:8880/

    回复于

相关问题