spark独立集群是否支持python应用程序的deploye mode = cluster?

loading...


1

我正在阅读Spark指南2.1.0,并在http://spark.apache.org/docs/latest/submitting-applications.html上看到以下行 . 目前,独立模式不支持Python应用程序的集群模式 .

但是在下面他们有一个示例在集群部署模式下使用监督在Spark独立集群上运行

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

现在我很困惑......有一次他们说python应用程序的spark独立集群不支持集群模式,但另一方面他们给出了一个示例,他们使用spark独立的python应用程序的deploye-mode = cluster如果我的解释错了,任何人都可以纠正我吗?

1回答

  • 1

    根据documentation

    独立模式不支持Python应用程序的集群模式 .

    对于Python应用程序,只需传递一个.py文件而不是JAR,并使用--py-files将Python .zip,.egg或.py文件添加到搜索路径中 .

    您发布的示例适用于scala应用程序 . python的例子给出了文档本身 .

    # Run a Python application on a Spark standalone cluster
    ./bin/spark-submit \
      --master spark://207.184.161.138:7077 \
      examples/src/main/python/pi.py \
      1000
    

loading...

评论

暂时没有评论!