Python - Spark - RDDs日期转换

可以在datetime中转换RDD元素而无需将RDD转换为DataFrame吗?

我正在尝试很多方法,但我没有幸运...

data.sortBy(lambda l: to_date(l[-2])).collect()
data.sortBy(lambda l: Date.valueOf(l[-2])).collect()
data.sortBy(lambda l: datetime(l[-2])).collect()

有办法做到吗?

谢谢!

回答(1)

2 years ago

sortBy 只能更改 RDD 中元素的顺序,而不能更改其内容 . 为了实际获取任何一个日期时间转换函数的返回值,您必须使用 map 代替:

data.map(lambda l: datetime(l[-2])).collect()