-
0 votesanswersviews
spark-submit不会从http或hdfs获取jar
在Mesos上使用Spark 2.0.1 . 尝试使用 sbt assembly 创建的一个超级jar和 --jars 选项中的其他jar文件提交spark作业 . 额外的jar不能直接放在工作节点上,所以我试图通过http或hdfs提供它 . 超级 jar 位于http . Problem: 永远不会获取额外的 jar 并使用相关的库 Exception in thread "main... -
1 votesanswersviews
Spark工作与纱线客户端正常工作,但根本不适用于纱线集群
在纱线中提交火花工作 jar 时,我遇到了一个问题 . 当我用 --master yarn-client 提交它时,它运行良好并且给了我预期的结果 命令如下; ./spark-submit --class main.MainClass --master yarn-client --driver-memory 4g --executor-memory 4g --num-executors 4 --e... -
0 votesanswersviews
什么是计算--executor-memory --num-executors --executor-cores in spark的最佳方法
我的集群包含1个主服务器和5个从服务器(节点),每个服务器包含32个核心和64 GB内存 . 在使用纱线的火花提交中是否有任何模式可以计算以下参数 --executor-memory --num-executors --executor-cores -
0 votesanswersviews
Spark Submit Executors == Spark Shell任务?
我试图了解我的spark-submit和spark shell工作之间的速度差异 . 我启动shell或使用相同的资源分配提交,但我似乎得到了非常不同的性能 . 当我在shell中运行它需要~10分钟与小时火花提交 . 那么我的问题是,REPL进度条中显示的任务数量与spark提交中运行的执行程序数量相同吗?我看到每个人都有不同的数字,我很想知道我做错了什么 . 在shell中我开始使用它 --e... -
0 votesanswersviews
Kafka - 使用pyspark进行Spark流式集成:面向PythonRunner:91 - Python工作人员意外退出(崩溃)错误
当我们尝试使用pypark整合spark spark和kafka之间的代码时,我们正面临 PythonRunner:91 - Python worker exited unexpectedly (崩溃) . 你能帮我们解决这个问题吗? 2018-08-02 16:53:00 ERROR PythonRunner:91 - Python worker exited unexpectedly (cra... -
0 votesanswersviews
java.lang.NoClassDefFoundError:更好/ files /文件在spark-sbumit中用于scala代码
当我将程序导出到jar文件并执行它时,我得到一个java.lang.NoClassDefFoundError:better / files / File错误 . 我正在使用的代码如下 . 在此先感谢您的任何帮助 SBT name := "testFunctions" version := "1.0" scalaVersion := "2.11.... -
0 votesanswersviews
Spark-submit无法访问EMR中的hadoop文件系统?
我试图通过使用docker容器使用marathon将作业提交到其他集群上,docker容器安装了hadoop和spark二进制文件,并且具有正确的hadoop_conf_dir和yarn_corn_dir路径 . 但是,当我尝试做Spark-submit时,它无法访问EMR.i中的hadoop文件系统 . 试图使用spark.yarn.jars和spark.yarn.archive但它失败了 命令...