我已经安装了 Hadoop 3.0.0 . 我现在应该安装with-hadoop还是without-hadoop版本的Apache Spark from this page？
我正在关注this guide以开始使用Apache Spark .
它说
从以下链接下载最新版本的Apache Spark（根据您的Hadoop版本预构建）：...
但我很困惑 . 如果我已经在我的机器上运行了Hadoop实例，然后我下载，安装并运行Apache-Spark-WITH-Hadoop，那么它不会启动另一个Hadoop实例吗？
2 回答
首先，据我所知，Spark尚未支持Hadoop 3 . 你会注意到"your Hadoop version"没有可用的下载选项 .
不管你下载哪一个，你都可以尝试在spark-env.sh中设置
HADOOP_CONF_DIR和HADOOP_HOME.如果您已经拥有Hadoop，则应始终下载没有Hadoop的版本 .
不，您仍然需要显式配置和启动该版本的Hadoop .
我相信Spark选项已经配置为使用包含的Hadoop
这是@ cricket_007的回答 .
如果您安装了Hadoop，请不要使用Hadoop下载spark，但是，由于任何版本的spark仍然不支持您的Hadoop版本，因此您需要下载带有Hadoop的版本 . 虽然，您需要在计算机上配置捆绑的Hadoop版本，以便运行Spark . 这意味着Hadoop 3上的所有数据都将是 LOST . 因此，如果您需要此数据，请在开始降级/重新配置之前备份数据 . 由于某些环境变量，我认为您不能在同一系统上托管2个Hadoop实例 .