首页 文章

即使以管理员身份运行,也会在Windows错误5(拒绝访问)上运行Spark

提问于
浏览
1

我从Spark开始,所以不确定我的问题在哪里,并在这里寻找有用的提示 . 我试图在Windows 7机器上运行Spark(pyspark)作为管理员,但它似乎没有工作(我仍然得到WindowsError 5) . 见下图:

enter image description here

我已经下载了文件(1.2.0版预装的Hadoop 2.4或更高版本),使用tar通过命令行解压缩并在调用bin \ pyspark之前设置IPYTHON = 1 . 当我调用它时,pyspark会运行,但我会根据图像得到以下错误 .

当我尝试调用某些SparkContext对象时,我没有定义名称'sc' .

我已经安装了python 2.7.8,Spyder IDE和我在企业网络环境中 .

有没有人知道这里会发生什么?我查了几个问题,如Why am i getting WindowsError: [Error 5] Access is denied?,但找不到线索 .

1 回答

  • 2

    简述:

    我有什么应该是同样的问题 . 对我来说, $spark/bin 目录中的 *.cmd 文件未标记为可执行文件;请尝试通过以下方式确认:

    • 右键单击 pyspark2.cmd 并:

    • 属性/安全选项卡然后检查'Read & execute'

    我在另一个网站上找到了解决方法,建议下载 hadoop-winutils-2.6.0.zip (抱歉没有链接) . 以下是要使用的cmd示例(移动到正确的目录后):

    t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 *
    

    我确实需要运行 chmod 777 cmd来使 /tmp/hive 也可写 . 祝好运!

    (...新来的 - 抱歉格式不佳)
    (更新:马特感谢您修复格式问题!)

    root cause :我通过 tar -zxf <file.tgz> 在Windows上使用的tar程序没有将适当的属性应用于提取的文件 . 在这种情况下,'executable'文件未正确设置 . 是的,也许我应该更新我的cygwin版本 .

相关问题