-
-2 votesanswersviews
使用reduce来检查偶数/奇数 - 奇数的代码失败
函数ev调用reduce函数洞察它并假设如果数组中的偶数（我传递给ev函数）则返回true，如果数组具有奇数则假设返回false . 我的代码适用于偶数，但是对于奇数而言则失败（显示为真）但我不知道为什么！有人知道为什么吗？ var even = function(num) { return num % 2 === 0; }; function reduce(array, init, f... -
0 votesanswersviews
更新对象属性并使用Reduce Javascript将它们添加到新的Arr中
我试图在具有键值对属性的对象数组中使用reduce in addKeyAndValue函数，在每个对象中添加一个新的键值对并将其返回到新数组 . addKeyAndValue函数接收三个参数arr，键和要在数组中的每个对象中一起添加的值 . 然后我在Reduce回调中使用push将数组中的对象推送到累加器中的新数组，并使用括号表示法更新新的键和值 . var arr = [{name: 'Alo... -
1 votesanswersviews
用于减速器功能的一个键的多个输出，Hadoop
我需要做的是做一些麻烦，就是为一个键输出两个值作为reduce函数的输出 . reduce函数以Id的形式和与该Id相关联的整数列表接收数据 . 它需要输出Id，列表中整数的平均值和列表的长度 . 但是，reduce函数的实现应该具有 OutputCollector <Text, IntWritable> 作为参数，该参数明确地将与每个键相关联的输出的数量限制为1 . 在这方面的任何... -
0 votesanswersviews
在MapReduce作业的Reducer中通过Text输入值多次迭代
我在HDFS上有 two very large datasets （表格） . 我想在某些列上使用 join them ，然后在某些列上使用 group them ，然后在某些列上使用 perform some group functions . My steps are: 1-创建两个作业 . 2-在第一个作业中，在映射器中将每个数据集的行读取为映射输入值，并将连接列的值作为映射输出键和剩... -
2 votesanswersviews
有条件地合并序列中的项目
我有一个序列列表 val as = Seq[A] . A 看起来像这样： import java.time.Instant case class A(t: String, start: Instant, end: Instant) 现在我想有条件地合并 as 中的元素：每当两个后续的，即直接相邻的项 a1 和 a2 具有相同的 t 值时，它们应该合并为如下： object A { de... -
2 votesanswersviews
Spark数据帧reduceByKey
我正在使用Spark 1.5 / 1.6，我想在DataFrame中执行reduceByKey操作，我不想将df转换为rdd . 每行看起来像我有多个id1行 . id1, id2, score, time 我希望有类似的东西： id1, [ (id21, score21, time21) , ((id22, score22, time22)) , ((id23, score23, time23... -
1 votesanswersviews
ReduceByKey函数在Spark中
我已经读过某个地方，对于作用于单个RDD的操作，例如 reduceByKey() ，在预分区的RDD上运行将导致每个键的所有值在本地计算在一台机器上，只需要最终的，本地减少要从每个工作节点发送回主节点的值 . 这意味着我必须声明一个分区器，如： val sc = new SparkContext(...) val userData = sc.sequenceFile[UserID, UserInf... -
0 votesanswersviews
在尝试收集RDD时，object不可迭代，pyspark [duplicate]
这个问题在这里已有答案： How to determine if object is a valid key-value pair in PySpark 1回答 我是Spark的新手 . 当我尝试从顶级外部函数传递到RDD_old.reduceByKey后从RDD_new收集结果时发生此错误 . 首先，我定义了一个treeStruct： class treeStruct(object): ... -
0 votesanswersviews
Hadoop中的Reducer有什么好处？
在以下场景中，我没有看到Hadoop中reducers的值： Map Tasks生成唯一键（因为我们可以将Map / Reduce功能合并在一起） Map Tasks的输出大小太大（如果等待reducers开始工作，这会耗尽内存） 如果我们有任何不需要对密钥进行分组和排序的功能 如果我错了，请纠正我 . 如果有人能给我一个关于减速器的好处以及何时应该使用它的真实例子，我将不胜感激 ... -
1 votesanswersviews
hadoop mapreduce工作不运行reducer
我试图运行一个WordCount示例的变体，变量是，Mapper输出Text作为键，Text输出为value，reducer输出Text作为键，NullWritable作为值 . 除了 Map ，减少签名，我把主要方法这样： //start a conf Configuration conf = new Configuration(); conf.set("str",str);... -
1 votesanswersviews
hadoop-mapreduce reducer-combiner输入
我正在学习一些MapReduce，但我遇到了一些问题，情况就是这样：我有两个文件：“用户”包含一些用户列表及其部分数据（性别，年龄，国家等等）该文件如下所示： user_000003 m 22 United States Oct 30, 2005 “songs”包含所有用户收听的歌曲数据（用户ID，收听日期和时间，艺术家ID，艺术家姓名，歌曲ID，歌曲名称）： user_000999 ... -
0 votesanswersviews
（Hadoop）：在运行mapreduce作业时，不会执行/调用reduce方法
我在执行一个mapreduce工作时遇到了问题 . 作为我的map reduce任务的一部分，我正在使用mapreduce连接，其中包括多个map方法和单个reducer方法 . 我的两个map方法都被执行了，但是我的reducer没有从我的驱动程序类执行/调用 . 因此，最终输出仅包含在我的映射阶段收集的数据 . 我在减少阶段使用了错误的输入和输出值吗？ Map 和减少阶段之间是否存在输入和输出... -
1 votesanswersviews
将数组减少为单个整数会导致类型错误
我正在尝试采用一对数组（StartTime：Int，EndTime：Int）并将它们减少到每个会话的累积时间 . fun main() { val sessionsInSecond = listOf<Pair<Int,Int>>(Pair(10,12), Pair(10,15)) val timeSpan: Int = sessionsInSecond.r... -
8 votesanswersviews
错误：传递reduce函数的不可变值
我正在尝试执行以下代码将元组数组转换为字典但我收到编译错误说： '[String：String]'类型的不可变值只有名为'updateValue'的变异成员 var array = [("key0", "value0"), ("key1", "value1")] var initial = [String: Str... -
0 votesanswersviews
尝试使用reduce查找偶数和奇数计数
我正在尝试使用reduce来解决下面的问题，但是我无法在对象中获得偶数和奇数的正确计数 . 有人可以指导我的代码有什么问题吗？ 创建一个接受数组和回调的函数countBy，并返回一个对象 . countBy将遍历数组并对每个元素执行回调 . 回调中的每个返回值都将保存为对象上的键 . 与每个键关联的值将是返回特定返回值的次数 function countBy(arr, fn) { ret... -
1 votesanswersviews
Map-Reduce <Key，Value>对Key是一个时间间隔
我有一个文本文件，每行有以下内容： 2018-11-27T08:06:11, 4.000000, 6.000000 2018-11-27T08:06:13, 9.000000, -1.000000 2018-11-27T08:06:15, 2.000000, -3.000000 2018-11-27T08:06:17, 1.000000, 9.000000 2018-11-27T08:06...