我目前拥有的:

  • 在Amazon的EMR(emr-4.7.2)上运行的Spark群集 .

  • 使用动态端口转发到主节点的SSH隧道 .

  • 使用以下配置从我的IDE(IntelliJ IDEA)本地运行的Spark应用程序(我正在使用JAVA):

SparkConf sparkConf = new SparkConf()
        .setAppName("Example Spark App")
        .setMaster("local");

题:

甚至可以在客户端模式下使用我的集群,而驱动程序应用程序将存在于我的开发机器上,我想从我的IDE运行它?我试过 .setMaster("yarn-client") 但没有成功("unable to load yarn support") .