在YARN上运行Spark作业-Java 学习之路

我正在尝试利用我在群集上拥有的所有资源来运行Spark作业 . 我在所有节点上都安装了Cloudera Manager . 这是我用来提交作业的命令 .

spark-submit --master yarn 
             --deploy-mode cluster 
             file:///[spark python file]
             file://[app argument 1]
             file://[app argument 2]

在执行期间，我收到以下错误：

diagnostics: Application application_1450777964379_0027 failed 2 times due to AM Container for appattempt_1450777964379_0027_000002 exited with  exitCode: 1

任何想法如何解决它将非常感激 .

EDIT 1 WEB UI无法访问安装Spark的机器我尝试下载源代码并阅读有关异常的更多信息 .

------------------------------------------------------------
| Job | Description                                        | 
------------------------------------------------------------
| 0   | saveAsTextFile at NativeMethodAccessorImpl.java:-2 | 
------------------------------------------------------------

1 回答

0

摘自here，

如果路径以file：//或hdfs：//开头，则路径变为ile：//或dfs：// . 如果路径是绝对路径，则删除第一个斜杠 . 没有特别的理由，需要修复 .

尝试使用绝对路径而不是 file://

回复于 2024-04-30T08:01:40+08:00

在YARN上运行Spark作业

1 回答

相关问题