-
-1 votesanswersviews
并行化从Java获取的List [String]并在Scala中使用以创建RDD时出错
var g = Graphx.graph() // return an Object with 2 Lists : List<Edge> edgeArray // List<String> vertexArray val vertexRDD: RDD[(Str... -
0 votesanswersviews
在EMR集群中的Spark上使用graphx / pregel API获取NullPointerException
我正在尝试基于此示例生成层次结构信息:https://www.qubole.com/blog/processing-hierarchical-data-using-spark-graphx-pregel-api/ 在根据需要调整代码之后,当我运行代码时,它在我的本地工作正常,但我在EMR中获得了NPE . val hrchyRDD = initialGraph.pregel(initialMsg,... -
6 votesanswersviews
Spark GraphX内存错误SparkListenerBus(java.lang.OutOfMemoryError:Java堆空间)
Apache Spark(Graphx)上的内存不足有问题 . 应用程序运行,但一段时间后关闭 . 我使用Spark 1.2.0 . 集群具有足够的内存和多个内核 . 我没有使用GraphX的其他应用程序,运行没有问题 . 应用使用Pregel . 我在Hadoop YARN模式下提交申请: HADOOP_CONF_DIR = / etc / hadoop / conf spark-submit ... -
9 votesanswersviews
使用GraphX将有向图实现为无向图
我有以下有节点和边缘给出的有向图 . 节点 1,2,3,4,5 边缘 (1,2),(1,3),(1,4),(2,5),(3,4),(3,5),(4,5) 如何将此有向图转换为无向图我是否必须使用内置方法进行转换 . 如果有构建方法,它是什么方法?或者,我是否必须在数据集中手动添加边,例如(1,2)到(2,1) .