我从Spark开始,所以不确定我的问题在哪里,并在这里寻找有用的提示 . 我试图在Windows 7机器上运行Spark(pyspark)作为管理员,但它似乎没有工作(我仍然得到WindowsError 5) . 见下图:
我已经下载了文件(1.2.0版预装的Hadoop 2.4或更高版本),使用tar通过命令行解压缩并在调用bin \ pyspark之前设置IPYTHON = 1 . 当我调用它时,pyspark会运行,但我会根据图像得到以下错误 .
当我尝试调用某些SparkContext对象时,我没有定义名称'sc' .
我已经安装了python 2.7.8,Spyder IDE和我在企业网络环境中 .
有没有人知道这里会发生什么?我查了几个问题,如Why am i getting WindowsError: [Error 5] Access is denied?,但找不到线索 .
1 回答
简述:
我有什么应该是同样的问题 . 对我来说,
$spark/bin
目录中的*.cmd
文件未标记为可执行文件;请尝试通过以下方式确认:右键单击
pyspark2.cmd
并:属性/安全选项卡然后检查'Read & execute'
我在另一个网站上找到了解决方法,建议下载
hadoop-winutils-2.6.0.zip
(抱歉没有链接) . 以下是要使用的cmd示例(移动到正确的目录后):我确实需要运行
chmod 777
cmd来使/tmp/hive
也可写 . 祝好运!(...新来的 - 抱歉格式不佳)
(更新:马特感谢您修复格式问题!)
root cause :我通过
tar -zxf <file.tgz>
在Windows上使用的tar程序没有将适当的属性应用于提取的文件 . 在这种情况下,'executable'文件未正确设置 . 是的,也许我应该更新我的cygwin版本 .