-
4 votesanswersviews
Spark流媒体工作突然退出 - 收到SIGNAL TERM
应该连续运行的正在运行的spark流式传输作业突然退出并出现以下错误(在执行程序日志中找到): 2017-07-28 00:19:38,807 [SIGTERM handler] ERROR org.apache.spark.util.SignalUtils$$anonfun$registerLogger$1$$anonfun$apply$1 (SignalUtils.scala:43) - RE... -
0 votesanswersviews
Spark Standalone集群,每个执行程序的内存问题
嗨,我正在使用spark提交脚本启动我的Spark应用程序 spark-submit --master spark://Maatari-xxxxxxx.local:7077 --class EstimatorApp /Users/sul.maatari/IdeaProjects/Workshit/target/scala-2.11/Workshit-assembly-1.0.jar --d ep... -
3 votesanswersviews
强制驱动程序在使用“--deploy-mode cluster”运行的spark独立集群中的特定从站上运行
我正在运行一个小火花群,有两个EC2实例(m4.xlarge) . 到目前为止,我一直在一个节点上运行spark master,在另一个节点上运行单个spark slave(4个内核,16g内存),然后在主服务器上以客户端部署模式部署我的spark(流媒体)应用程序 . 设置摘要是: --executor-memory 16g --executor-cores 4 --driver-memory ... -
3 votesanswersviews
执行程序在Spark主机上的作用
在Spark独立集群中,主节点是否也运行任务?我不确定Executors进程是否在Master节点上运行并且与Worker节点一起工作 . 谢谢! -
0 votesanswersviews
Spark独立集群调优
我们在具有8个内核和50GB内存(单个工作线程)的单个节点上运行了spark 2.1.0独立集群 . 我们使用以下内存设置在集群模式下运行spark应用程序 - --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (all remaining cores - 7 cores) 最近,我们经常观察执行者被驱动... -
0 votesanswersviews
无法使用kerberized hadoop连接spark standlone应用程序
我使用Spark独立1.6.x版本连接kerberos启用hadoop 2.7.x. JavaDStream<String> status = stream.map(new Function<String, String>() { public String call(String arg0) throws Exception { Configur... -
56 votesanswersviews
Worker , Worker 实例和执行者之间的关系是什么?
在 Spark Standalone mode 中,有主节点和工作节点 . 这里有几个问题: 2个工作者实例是否意味着一个具有2个工作进程的工作节点? 每个工作者实例是否拥有特定应用程序(管理存储,任务)或一个工作节点拥有一个执行程序的执行程序? 是否有流程图解释了如何计算spark运行时间?