如果我通过SBT对所有依赖项组装SPARK / SCALA JAR,我是否可以在给定目标环境中使用尽可能少的(运行时)库将模块部署到Hadoop?给人的印象就是这样,但我想我在这里读得太多了 .

所以,我不是在讨论各种Hadoop模块 . 显然,需要火花提交,HDFS模块,Hadoop运行等 . 另外,一个人可以与Spark-shell交互运行,但没有逃过我 .

所以,我的问题是:如果SPARK / SCALA程序集具有所有依赖关系,理论上我不需要SPARK / SCALA软件的哪些方面?

我认为只需要spark-submit模块和JAVA运行时 .

我不是JAVA专家,因此我对这个非编程问题进行了仔细检查 .