在YARN支持上使用Spark构建Oozie 4.2.0

我想要实现的是构建和安装Oozie 4.2.0,这将使我能够将Spark作业提交给YARN集群 .

我通过执行: oozie-4.2.0/bin/mkdistro.sh -Puber -Phadoop-2 -DskipTests 来构建发行版 . 那创建了 oozie-4.2.0-distro.tar.gz 包,我可以在里面找到 oozie-4.2.0-sharelib.tar.gz . 但是,许多在线教程声明我应该使用 oozie-4.2.0-sharelib-yarn.tar.gz 才能使用YARN . 这样的文件不包含在发行包中 . How can I make the build process output the YARN version of sharelibs?

我尝试继续使用非YARN版本,但是在提交示例Spark作业(并将job.properties中的HDFS和YARN地址以及主属性从 local[*] 调整为 yarn )时出现错误:

错误:无法加载YARN类 . 此副本的Spark可能尚未使用YARN支持进行编译 .

回答(0)