Spark 2.0:通过GetOrCreate重新定义SparkSession参数,而不是在WebUI中看到更改

我正在使用Spark 2.0和pySpark .

我正在通过2.0中引入的 GetOrCreate 方法重新定义 SparkSession 参数:

此方法首先检查是否存在有效的全局默认SparkSession,如果是,则返回该值 . 如果不存在有效的全局默认SparkSession,则该方法将创建新的SparkSession并将新创建的SparkSession指定为全局默认值 . 如果返回现有的SparkSession,则此构建器中指定的配置选项将应用于现有的SparkSession .

https://spark.apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.SparkSession.Builder.getOrCreate

到现在为止还挺好:

from pyspark import SparkConf

SparkConf().toDebugString()
'spark.app.name=pyspark-shell\nspark.master=local[2]\nspark.submit.deployMode=client'

spark.conf.get("spark.app.name")
'pyspark-shell'

然后我重新定义了 SparkSession config,并承诺在WebUI中查看更改

appName(name)设置应用程序的名称,该名称将显示在Spark Web UI中 .

https://spark.apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.SparkSession.Builder.appName

c = SparkConf()
(c
 .setAppName("MyApp")
 .setMaster("local")
 .set("spark.driver.memory","1g")
 )

from pyspark.sql import SparkSession
(SparkSession
.builder
.enableHiveSupport() # metastore, serdes, Hive udf
.config(conf=c)
.getOrCreate())

spark.conf.get("spark.app.name")
'MyApp'

现在,当我去 localhost:4040 时,我希望看到 MyApp 作为应用名称 .

但是,我仍然看到 pyspark-shell application UI

我哪里错了?

提前致谢!

回答(1)

2 years ago

我相信文档在这里有点误导,当您使用Scala时,您实际上会看到如下警告:

... WARN SparkSession$Builder: Use an existing SparkSession, some configuration may not take effect.

在Spark 2.0之前更明显的是在上下文之间有明确的分离:

  • SparkContext 配置无法在运行时修改 . 您必须先停止现有的上下文 .

  • SQLContext 配置可以在运行时修改 .

与许多其他选项一样, spark.app.name 绑定到 SparkContext ,并且在不停止上下文的情况下无法修改 .

Reusing existing SparkContext / SparkSession

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

spark.conf.get("spark.sql.shuffle.partitions")
String = 200
val conf = new SparkConf()
  .setAppName("foo")
  .set("spark.sql.shuffle.partitions", "2001")

val spark = SparkSession.builder.config(conf).getOrCreate()
... WARN SparkSession$Builder: Use an existing SparkSession ...
spark: org.apache.spark.sql.SparkSession =  ...
spark.conf.get("spark.sql.shuffle.partitions")
String = 2001

spark.app.name 配置更新时:

spark.conf.get("spark.app.name")
String = foo

它不会影响 SparkContext

spark.sparkContext.appName
String = Spark shell

Stopping existing SparkContext / SparkSession

现在让我们停止会话并重复该过程:

spark.stop
val spark = SparkSession.builder.config(conf).getOrCreate()
...  WARN SparkContext: Use an existing SparkContext ...
spark: org.apache.spark.sql.SparkSession = ...
spark.sparkContext.appName
String = foo

有趣的是,当我们停止会话时,我们仍然会收到有关使用现有 SparkContext 的警告,但您可以检查它是否已停止 .