当我将master设置为localhost时，此代码运行完美 . 当我在具有两个工作节点的群集上提交时，会出现此问题 .
所有机器都有相同版本的python和包 . 我还设置了指向所需python版本的路径，即3.5.1 . 当我在主ssh会话上提交我的spark工作时 . 我收到以下错误 -
py4j.protocol.Py4JJavaError：调用z：org.apache.spark.api.python.PythonRDD.runJob时发生错误 . ：org.apache.spark.SparkException：作业因阶段失败而中止：阶段2.0中的任务0失败4次，最近失败：阶段2.0中失去的任务0.3（TID 5，.c..internal）：org.apache . spark.api.python.PythonException：Traceback（最近一次调用最后一次）：文件“/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977
01_000004/pyspark.zip/pyspark/worker.py”，line 98，在主命令= pickleSer._read_with_length（infile）文件“/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977
01_000004/pyspark.zip/pyspark/serializers.py”，第164行，在_read_with_length中return self.loads（obj）file“/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977
01_000004/pyspark.zip/pyspark/serializers.py”，第419行，在load中pickle pickle.loads（ obj，encoding = encoding）文件“/ hadoop / yarn / nm-local-dir / usercache // appcache / application_1469113139977_0011 / container _1469113139977
01_000004 / pyspark.zip / pyspark / mllib / init.py“，第25行，导入numpy ImportError：没有名为'numpy'的模块
我看到其他人员无法访问其工作节点的帖子 . 我做 . 我得到了另一个工作节点的相同消息 . 不确定我是否遗漏了一些环境设置 . 任何帮助都感激不尽 .
1 回答
不确定这是否有资格作为解决方案 . 我在谷歌平台上使用dataproc提交了相同的工作，它没有任何问题 . 我认为在谷歌集群上运行工作的最佳方式是通过谷歌平台上提供的实用工具 . 数据业务实用程序似乎解决了与环境相关的任何问题 .