当逻辑和滞后窗函数时，Spark 1.5.0（PySpark）情况-Java 学习之路

我试图在HiveContext中使用Spark SQL函数'WHEN / OTHERWISE'以及窗口中的LAG，在一些连续分钟数据中为升序数字计数字段创建DIFF字段，该字段经常重置为零 . 所以我需要纠正'计数'重置为零 .

所以我的代码如下：

window = Window.partitionBy("car","trip_id").orderBy("car","datetime")
df = df.withColumn('new_count', F.when(df.num_count >= F.lag(df.num_count),(df.num_count- F.lag(df.num_count))).otherwise(df.num_count.astype('long')).over(window))

我在Pyspark的错误是说：

: java.lang.UnsupportedOperationException: CASE WHEN ...<"variable names">...  is not supported in window operation

尝试使用“sqlContext.sql（”选择CASE WHEN ... lag（num_count）OVER ...“）会不会更好？

1 回答

窗口应单独应用于每个窗口功能 . 在这种特殊情况下，您可以简单地提取如下表达式：

num_count_lag = F.lag(df.num_count).over(window)

df.withColumn(
    'new_count',
    F.when(
        df.num_count >= num_count_lag,
        df.num_count - num_count_lag
    ).otherwise(df.num_count.astype('long'))
)

回复于 2024-04-19T07:25:58+08:00

当逻辑和滞后窗函数时，Spark 1.5.0（PySpark）情况

1 回答

相关问题