在使用maven hadoop版本Hadoop 2.5.1编译Hadoop 2.5.1之后,我尝试使用以下命令编译apache spark:
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.1 -Pdeb -DskipTests clean package
但显然没有2.5个档案 .
我的问题是:我该怎么办?
重建hadoop 2.4
或使用配置文件2.4编译spark
或任何其他解决方案?
在海报询问后看起来有人问这个问题:
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-1-1-0-with-Hadoop-2-5-0-td15827.html
“hadoop-2.4配置文件实际上是”Hadoop 2.4“ . 据我所知,它应该可以编译并运行Hadoop 2.5.CDH 5.2是Hadoop 2.5 Spark 1.1,因此有证据证明它有效 . ”
只是更改配置文件名称对我有用 . 谢谢答案 .
2 回答
在海报询问后看起来有人问这个问题:
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-1-1-0-with-Hadoop-2-5-0-td15827.html
“hadoop-2.4配置文件实际上是”Hadoop 2.4“ . 据我所知,它应该可以编译并运行Hadoop 2.5.CDH 5.2是Hadoop 2.5 Spark 1.1,因此有证据证明它有效 . ”
只是更改配置文件名称对我有用 . 谢谢答案 .