有很多关于如何对dataframe / rdd进行分区以提高性能的帖子 . 我的问题要简单得多:显示数据帧分区器的最直接方法是什么?通过查看名称,我猜 df.rdd.partitioner 将返回分区程序,但是,它总是返回None:

df = spark.createDataFrame((("A", 1), ("B", 2), ("A", 3), ("C", 1)),['k','v']).repartition("k")

df.rdd.partitioner #None

我发现找到分区器的一种方法是读取 df.explain() 的输出 . 但是,这打印了很多其他信息(物理计划) . 是否有更直接的方式来显示dataframe / rdd的分区器?