我知道giraph-dist-1.2.0-hadoop2-bin.tar.gz二进制发行版是使用以下maven命令构建的,并且由hadoop-2.5.1正式支持 .

“mvn -Phadoop_2 clean install”

我在hadoop-2.5.1上以伪分布模式成功使用了giraph-dist-1.2.0-hadoop2-bin.tar.gz,其中我配置了纱线 .

现在,我下载了giraph-dist-1.2.0-hadoop2-src.tar.gz,并使用从Building Giraph with Hadoop获取的命令和补丁成功构建了支持纱线的giraph,即:

“mvn -Phadoop_yarn -Dhadoop.version = 2.5.1 clean package -DskipTests”

由于我已经在Hadoop 2.5.1中配置了yarn,我不明白是否以及我必须在Hadoop 2.5.1配置中更改有关mapred-site.xml和yarn-site.xml以便使用giraph with yarn support?

我认为主要的问题是:使用-Phadoop_2构建的giraph和使用-Phadoop_yarn构建的giraph在Hadoop使用中有什么变化?

我找到的唯一文档如下:

  • Apache Hadoop 2(最新版本:2.5.1)

这是Hadoop 2的最新版本(除了MapReduce之外还支持YARN)Giraph可以使用 . 您可以告诉maven将此版本与“mvn -Phadoop_2”一起使用 .