首页 文章

kubernetes上的Spark执行 - 驱动程序pod失败

提问于
浏览 次
2

我尝试使用spark 2.3 native kubernetes部署功能在kubernetes集群上运行简单的spark代码 .

我有一个kubernetes集群正在运行 . 此时，spark代码不读取或写入数据 . 它从列表中创建一个RDD并打印出结果，只是为了验证在spark上运行kubernetes的能力 . 此外，还复制了kubernetes容器图像中的spark app jar .

下面是我运行的命令 .

bin/spark-submit --master k8s://https://k8-master --deploy-mode cluster --name sparkapp --class com.sparrkonk8.rdd.MockWordCount --conf spark.executor.instances=5 --conf spark.kubernetes.container.image=myapp/sparkapp:1.0.0 local:///SparkApp.jar

2018-03-06 10:31:28 INFO LoggingPodStatusWatcherImpl：54 - 状态已更改，新状态：pod名称：sparkapp-6e475a6ae18d3b7a89ca2b5f6ae7aae4-driver命名空间：默认标签：spark-app-selector - > spark-9649dd66e9a946d989e2136d342ef249，spark-role - > driver pod uid：6d3e98cf-2153-11e8-85af-1204f474c8d2创建时间：2018-03-06T15：31：23Z服务帐户名称：默认卷：default-token-vwxvr节点名称：192-168-1-1.myapp .engg.com开始时间：2018-03-06T15：31：23Z容器图片：dockerhub.com/myapp/sparkapp:1.0.0阶段：失败状态：[ContainerStatus（containerID = docker：// 3617a400e4604600d5fcc69df396facafbb2d9cd485a63bc324c1406e72f0d35，image = dockerhub . com / myapp / sparkapp：1.0.0，imageID = docker-pullable：//dockerhub.com/sparkapp@sha256：f051d86384422dff3e8c8a97db823de8e62af3ea88678da4beea3f58cdb924e5，lastState = ContainerState（running = null，terminated = null，waiting = null，additionalProperties = {}）， name = spark-kubernetes-driver，ready = false，restartCount = 0，state = ContainerState（running = null， terminate = ContainerStateTerminated（containerID = docker：// 3617a400e4604600d5fcc69df396facafbb2d9cd485a63bc324c1406e72f0d35，exitCode = 1，finishedAt = Time（time = 2018-03-06T15：31：24Z，additionalProperties = {}），message = null，reason = Error，signal = null， startedAt = Time（time = 2018-03-06T15：31：24Z，additionalProperties = {}），additionalProperties = {}），waiting = null，additionalProperties = {}），additionalProperties = {}）] 2018-03-06 10 ：31：28 INFO LoggingPodStatusWatcherImpl：54 - 容器最终状态：容器名称：spark-kubernetes-driver容器图像：myapp / sparkapp：1.0.0容器状态：已终止退出代码：1

apache-spark kubernetes

1 回答

  • 0

    下面是驱动程序pod提交的spark配置 . 我从K8s用户界面中取出了这个 . @TobiSH让我知道这是否有助于解决我的问题 .

    SPARK_DRIVER_MEMORY: 1g
SPARK_DRIVER_CLASS: com.sparrkonk8.rdd.MockWordCount
SPARK_DRIVER_ARGS: 
SPARK_DRIVER_BIND_ADDRESS: 
SPARK_MOUNTED_CLASSPATH: /SparkApp.jar:/SparkApp.jar
SPARK_JAVA_OPT_0: -Dspark.kubernetes.executor.podNamePrefix=sparkapp-028d46fa109e309b8dfe1a4eceb46b61
SPARK_JAVA_OPT_1: -Dspark.app.name=sparkapp
SPARK_JAVA_OPT_2: -Dspark.kubernetes.driver.pod.name=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver
SPARK_JAVA_OPT_3: -Dspark.executor.instances=5
SPARK_JAVA_OPT_4: -Dspark.submit.deployMode=cluster
SPARK_JAVA_OPT_5: -Dspark.driver.blockManager.port=7079
SPARK_JAVA_OPT_6: -Dspark.kubernetes.container.image=docker.com/myapp/sparkapp:1.0.0
SPARK_JAVA_OPT_7: -Dspark.app.id=spark-5e3beb5109174f40a84635b786789c30
SPARK_JAVA_OPT_8: -Dspark.master= k8s://https://k8-master
SPARK_JAVA_OPT_9: -Dspark.driver.host=sparkapp-028d46fa109e309b8dfe1a4eceb46b61-driver-svc.default.svc
SPARK_JAVA_OPT_10: -Dspark.jars=/opt/spark/work-dir/SparkApp.jar,/opt/spark/work-dir/SparkApp.jar
SPARK_JAVA_OPT_11: -Dspark.driver.port=7078`
    回复于

相关问题