-
1 votesanswersviews
是否有可能在hadoop3集群上运行Spark(2.3)作业,特别是HDP 3.1和CDH6(beta)
此外,CDH 6处于测试阶段,它们是否支持火花2.3而没有任何铃声和口哨声?是否可以在启用hadoop 3的CDH或Hadoop集群上运行相同的旧spark 2.x版本(2.3具体)? 我很想知道使用yarn,hdfs和mapreduce API的向后兼容性变化 . 是否有人在 生产环境 中使用它? -
0 votesanswersviews
启动ResourceManager和NodeManager时出现Hadoop错误
我正在尝试使用单节点群集(Psuedo-distributed)设置Hadoop3-alpha3并使用the apache guide来执行此操作 . 我已经尝试运行示例MapReduce作业,但每次拒绝连接 . 运行 sbin/start-all.sh 后,我在ResourceManager日志中看到了这些异常(类似地在NodeManager日志中): xxxx-xx-xx xx:xx:xx,x... -
2 votesanswersviews
如果我已经安装了Hadoop,我应该下载Apache Spark with Hadoop还是WITHOUT Hadoop?
我已经安装了 Hadoop 3.0.0 . 我现在应该安装with-hadoop还是without-hadoop版本的Apache Spark from this page? 我正在关注this guide以开始使用Apache Spark .它说 从以下链接下载最新版本的Apache Spark(根据您的Hadoop版本预构建):... 但我很困惑 . 如果我已经在我的机器上运行了Hado...