我已经在Spark中使用Window成功创建了一个 row_number() partitionBy ，但是希望通过降序排序，而不是默认升序 . 这是我的工作代码：
from pyspark import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row, functions as F
from pyspark.sql.window import Window
data_cooccur.select("driver", "also_item", "unit_count",
F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count")).alias("rowNum")).show()
这给了我这个结果：
+------+---------+----------+------+
|driver|also_item|unit_count|rowNum|
+------+---------+----------+------+
| s10| s11| 1| 1|
| s10| s13| 1| 2|
| s10| s17| 1| 3|
在这里我添加desc（）以降序：
data_cooccur.select("driver", "also_item", "unit_count", F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count").desc()).alias("rowNum")).show()
并得到此错误：
AttributeError：'WindowSpec'对象没有属性'desc'
我在这做错了什么？
1 回答
desc应该应用于列而不是窗口定义 . 您可以在列上使用任一方法：或独立功能：