-
1 votesanswersviews
使用用户定义的类链接作业
我必须使用Map Reduce实现Graph算法 . 为此，我必须连结工作 .MAP1 -> REDUCE1 -> MAP2 -> REDUCE2 -> ...我将从MAP1中的文件中读取相邻矩阵，并创建一个用户定义的java类 Node ，它将包含数据和子信息 . 我想将此信息传递给MAP2 .但是，在我写的REDUCE1中 context.write（node，Nul... -
3 votesanswersviews
hadoop流式传输确保每个减速器一个键
我有一个映射器，在处理数据时，将输出分为3种不同的类型（类型是输出键） . 我的目标是通过reducer创建3个不同的csv文件，每个文件包含一个带有 Headers 行的键的所有数据 . 键值可以更改，并且是文本字符串 . 现在，理想情况下，我希望有3个不同的reducer，每个reducer只有一个键，它的整个值列表 . 除此之外，这似乎不起作用，因为键不会映射到特定的reducer . 其他... -
2 votesanswersviews
Python - 如何将目录作为MapReduce输入传递
我在Python中编写了一个简单的MapReduce示例 . 如果输入是一个文件，例如 text 文件，为了运行代码，我们只需使用以下模式： cat <data> | map | sort | reduce ，例如在我的情况下它是： cat data | ./mapper.py | sort | ./reducer.py 并且一切正常 . 但是我改变了我的mapper和reducer来... -
0 votesanswersviews
Hadoop Streaming Job无法在OOzie中运行
我正在尝试编写一个简单的 Map ，只有hadoop流式传输作业从hdfs读取数据并将其推送到vertica . 我编写了一个shell脚本，如下所示 ./vsql -c "copy $TABLE from stdin delimiter E'\t' direct null '\\N';" -U $DBUSER -w $DBPWD -h $DBHOST -p $DBPORT ... -
1 votesanswersviews
Hadoop的安装，多节点
大家好我正在尝试安装多节点hadoop安装 . 一切正常，但我的纱线节点管理器不起作用 . 当我查看Yarn nodemanager的日志文件时，我得到了以下信息 “org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl：初始化的nodemanager for null：physical-memory = -1 virtua... -
0 votesanswersviews
我的datanode没有在hadoop 2.7.3多节点中启动
我的datanode没有启动hadoop 2.7.3多节点（1master，2个slave） 这是我的配置文件： core-site.xml（在主服务器和从服务器中） <configuration> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp<... -
0 votesanswersviews
Kafka我的制片人作品题目是Par：0，Lead：1，Rep：1，Isr：1但不是Par：0，Lead：2，Rep：2，Isr：2
我有一个kakfa集群，有3个kafka节点和3个zk节点 . 生产环境 者在AWS机器上试图在我的Intranet服务器上运行的kafka集群上推送数据 . 当从具有分区的控制台创建主题（JOB_AWS_14）时：0领导者：1个副本：1个Isr：1它工作正常 . 但是使用分区创建主题（JOB_AWS_8）：0领导者：2个副本：2个Isr：2它无法正常工作 . 哪些设置出错以及如何纠正 . 请帮我... -
1 votesanswersviews
运行map时出错会减少R中的作业
我刚开始集成RHadoop . 它是与Hadoop集成的R-studio服务器，但是在运行map-reduce作业时遇到错误 . 当我运行下面的代码行 . library(rmr2) a <- to.dfs(seq(from=1, to=500, by=3), output="/user/hduser/num") *b <- mapreduce(input=a, m... -
1 votesanswersviews
Kafka 与avro记录
我有以下内容：来源 - kafka主题（反式） Channels - 内存接收器 - Hdfs（avro_event） kafka topic trans中的数据是使用c＃producer编写的，有数千条avro记录 . 当我运行我的水槽消费者时，它开始将数据下沉到hdfs . 问题是数据的格式是：架构数据架构数据 代替： 架构数据数据 我猜这是因为flume期待带有 的记录类型，而来自ka... -
0 votesanswersviews
在Eclipse中编译Apache Hadoop源代码
经过大约4次尝试后，我设法使用git来检查apache的Hadoop源代码，发出一个 mvn eclipse:eclipse 命令然后将所有项目导入eclipse . 到目前为止，这是我一直以来最成功的 . 我几乎在那里 . 我试图 Build 并清理所有项目，一切进展顺利 . 现在我只有3个错误可以摆脱 . 如果有人能帮助我，我会非常感激 . 我一直试图让这个工作大约2天左右 . 无论如何，在...