我试图在单节点集群中编写mapreduce程序(hadoop 2.4) . 我在maven中央存储库中找到了hadoop的maven依赖项 .
http://mvnrepository.com/artifact/org.apache.hadoop
哪个所有这些依赖项都是必要的(包括在pom.xml中)来编写map-reduce程序?
谢谢 !
我试图在单节点集群中编写mapreduce程序(hadoop 2.4) . 我在maven中央存储库中找到了hadoop的maven依赖项 .
http://mvnrepository.com/artifact/org.apache.hadoop
哪个所有这些依赖项都是必要的(包括在pom.xml中)来编写map-reduce程序?
谢谢 !
1 回答
hadoop-core
通常足以编写map-reduce作业 . 由于在群集上运行作业时,hadoop库应该可用,因此可以在依赖项中添加<scope>provided</scope>
.对于单元测试,您可以使用
org.apache.mrunit
依赖<scope>test</scope>