-
10 votesanswersviews
使用spark-submit, - length-executor-cores选项的行为是什么?
我正在使用python包装的C代码运行一个spark集群 . 我目前正在测试多线程选项的不同配置(在Python级别或Spark级别) . 我在HDFS 2.5.4集群上使用带有独立二进制文件的spark . 该集群目前由10个从站组成,每个从站有4个核心 . 从我所看到的,默认情况下,Spark每个节点启动4个从站(我一次有4个python在从属节点上工作) . 我怎样才能限制这个数字?我可以看...