我知道giraph-dist-1.2.0-hadoop2-bin.tar.gz二进制发行版是使用以下maven命令构建的,并且由hadoop-2.5.1正式支持 .
“mvn -Phadoop_2 clean install”
我在hadoop-2.5.1上以伪分布模式成功使用了giraph-dist-1.2.0-hadoop2-bin.tar.gz,其中我配置了纱线 .
现在,我下载了giraph-dist-1.2.0-hadoop2-src.tar.gz,并使用从Building Giraph with Hadoop获取的命令和补丁成功构建了支持纱线的giraph,即:
“mvn -Phadoop_yarn -Dhadoop.version = 2.5.1 clean package -DskipTests”
由于我已经在Hadoop 2.5.1中配置了yarn,我不明白是否以及我必须在Hadoop 2.5.1配置中更改有关mapred-site.xml和yarn-site.xml以便使用giraph with yarn support?
我认为主要的问题是:使用-Phadoop_2构建的giraph和使用-Phadoop_yarn构建的giraph在Hadoop使用中有什么变化?
我找到的唯一文档如下:
- Apache Hadoop 2(最新版本:2.5.1)
这是Hadoop 2的最新版本(除了MapReduce之外还支持YARN)Giraph可以使用 . 您可以告诉maven将此版本与“mvn -Phadoop_2”一起使用 .