我目前拥有的:
-
在Amazon的EMR(emr-4.7.2)上运行的Spark群集 .
-
使用动态端口转发到主节点的SSH隧道 .
-
使用以下配置从我的IDE(IntelliJ IDEA)本地运行的Spark应用程序(我正在使用JAVA):
SparkConf sparkConf = new SparkConf()
.setAppName("Example Spark App")
.setMaster("local");
题:
甚至可以在客户端模式下使用我的集群,而驱动程序应用程序将存在于我的开发机器上,我想从我的IDE运行它?我试过 .setMaster("yarn-client")
但没有成功("unable to load yarn support") .